skipgram word2vec的渐变

我正在研究斯坦福大学NLP深度学习班的书面作业问题，网址为http://cs224d.stanford.edu/assignment1/assignment1_soln

我试图了解3a的答案，他们正在寻找中心词向量的导数。

假设你被给予预测的字向量对应于中心字Ç为skipgram，和字预测与在word2vec模型中发现的功能SOFTMAX制成。$v_{c}$

$\hat{y}^{o} = p(o | c) = \frac {exp(u_{o}^{T} v_{c})}{\sum_{w=1}^{W}exp(u_{w}^{T} v_{c})}$

其中w表示第w个单词，而（w = 1，...，W）是词汇表中所有单词的“输出”单词向量。假定将交叉熵成本应用于此预测，并且单词o是预期单词。$u_w$

其中是所有的输出向量的矩阵，并让ÿ是词的SOFTMAX预测的列向量，并且ÿ是独热标签，该标签也是列向量。$U = [u_1,u_2, · · · ,u_W ]$$\hat{y}$

其中交叉熵是$CE(y, \hat{y}) = − \sum_iy_i\log(\hat{y}_i)$

所以对于梯度为中心矢量答案是$\frac{∂J}{∂v_c}= U^T(\hat{y} − y).$

有人可以告诉我实现此目标的步骤吗？我一直用这个问题作为参考在word2vec交叉熵损失的衍生，但我特别想知道表示。$U^T(\hat{y} − y).$

首先，让我们列出我们所得到的以及关于不同矢量形状的假设。让，

1. $|W|$是词汇中的单词数
2. $y$和 ÿ是形状的列向量 | W | x 1$\hat{y}$$|W|$
3. $u_i$和$v_j$是$D$ X 1形状的列向量（$D$ =嵌入维数）
4. $y$是形状$|W|$的单点编码列向量。W | x 1
5. $\hat{y}$是形状的SOFTMAX预测列向量$|W|$x 1
6. $\hat{y}_i = P(i|c) = \frac{exp(u_i^Tv_c)}{\sum_{w=1}^Wexp(u_w^Tv_c)}$
7. $J = -\sum_{i=1}^Wy_ilog({\hat{y_i}})$
8. $U = [u_1, u_2, ...,u_k, ...u_W]$$u_k$

$$J = - \sum_{i=1}^W y_i log(\frac{exp(u_i^Tv_c)}{\sum_{w=1}^Wexp(u_w^Tv_c)})$$ $$J = - \sum_{i=1}^Wy_i[u_i^Tv_c - log(\sum_{w=1}^Wexp(u_w^Tv_c))]$$ $y$$k^{th}$$y_k$ $$J = -y_k[u_k^Tv_c - log(\sum_{w=1}^Wexp(u_w^Tv_c))]$$ $y_k$

$\frac{\partial J}{\partial v_c}$

$$\frac{\partial J}{\partial v_c} = -[u_k - \frac{\sum_{w=1}^Wexp(u_w^Tv_c)u_w}{\sum_{x=1}^Wexp(u_x^Tv_c)}]$$

$$\frac{\partial J}{\partial v_c} = \sum_{w=1}^W (\frac{exp(u_w^Tv_c)}{\sum_{x=1}^W exp(u_x^Tv_c)}u_w) - u_k$$ $$\frac{\partial J}{\partial v_c} = \sum_{w=1}^W (\hat{y}_w u_w) - u_k$$

现在让我们看看如何用矩阵表示法编写该代码。

1. $u_k$$U.y$
2. $\sum_{w=1}^W (\hat{y}_w u_w)$$u_w$$U$$\hat{y}_w$$U.\hat{y}$

$$U[\hat{y} -y]$$

$u_i$$U^T[\hat{y} -y]$