本Tag来源于我与Freda同学的一段日常对话,我问她,这事儿,你知道吗?

题材敬告:本文的内容多涉及人工智能,神经网络,计算语言学。

(2018-06-05) #你知道吗#1:\(\tanh(x)\)的导数是\(1 – \tanh^2(x)\)。因此在神经网络优化中使用\(\tanh\)做激活函数可以在反向传播时计算非常高效。

(2018-06-05) #你知道吗#2:\(\tanh(x) = 2 \sigma(2x) – 1\),其中\(\sigma\)是Sigmoid函数。

(2018-06-05) #你知道吗#3:Distributional Vector和Distributed Vector是不同的两个概念:Distributional是指真·PMI矩阵,而Distributed指的是Word2Vec等模型。当然Levy et.al. 的paper证明了两者的(在一定条件下的)等价性。

(2018-06-11) #你知道吗#4:数词不止有One, Two, Three那么简单。Quoted from wiki:

Numerals are often conflated with other parts of speech: nouns (cardinal numerals, e.g., “one”, and collective numerals, e.g., “dozen”), adjectives (ordinal numerals, e.g., “first”, and multiplier numerals, e.g., “single”) and adverbs (multiplicative numerals, e.g., “once”, and distributive numerals, e.g., “singly”).

(2018-10-02) #你知道吗#5:Language Model中最常用的评价指标之一Perplexity的发明者是Jelinek et al. 1977. “Perplexity – a measure of the difficulty of speech recognition tasks”. Cited by 171 (as of 2018-10-02).

(2018-10-26) #你知道吗#6:”a priori”和”prior”是两个(在意思上没有什么关系的)词。”a priori”合起来是一个词,形容词属性,表示“显然的”。而“prior”是名词属性,表示“先验(分布)”,一般用在Bayesian的上下文中,和“posterior”对应。另外“an a priori prior”意思是:“一个显然的先验分布”。 // 经过了长达两周的纠结,我们终于搞清楚了这两个词的意思。