使用Softmax /交叉熵进行反向传播

40

我试图了解反向传播如何用于softmax /交叉熵输出层。

交叉熵误差函数为

E (t, o) = - \sum_{j} t_{j} \log o_{j}

$E(t,o)=-\sum_j t_j \log o_j$

分别以和为目标，并在神经元处输出。总和在输出层的每个神经元上。本身是softmax函数的结果： $t$ $o$ $j$ $o_j$

o_{j} = s o f t m a x (z_{j}) = \frac{e^{z_{j}}}{\sum_{j} e^{z_{j}}}

$o_j=softmax(z_j)=\frac{e^{z_j}}{\sum_j e^{z_j}}$

同样，总和在输出层的每个神经元上，是神经元的输入： $z_j$ $j$

z_{j} = \sum_{i} w_{i j} o_{i} + b

$z_j=\sum_i w_{ij}o_i+b$

那是前一层中所有神经元的总和，其对应的输出为，权重朝向神经元加上偏差。 $o_i$ $w_{ij}$ $j$ $b$

现在，要更新连接输出层中的神经元和上一层中的神经元的权重，我需要使用链式规则来计算误差函数的偏导数： $w_{ij}$ $j$ $i$

\frac{\partial E}{\partial w_{i j}} = \frac{\partial E}{\partial o_{j}} \frac{\partial o_{j}}{\partial z_{j}} \frac{\partial z_{j}}{\partial w_{i j}}

$\frac{\partial E} {\partial w_{ij}}=\frac{\partial E} {\partial o_j} \frac{\partial o_j} {\partial z_{j}} \frac{\partial z_j} {\partial w_{ij}}$

用作为神经元的输入。 $z_j$ $j$

最后一个词很简单。由于和之间只有一个权重，因此导数为： $i$ $j$

\frac{\partial z_{j}}{\partial w_{i j}} = o_{i}

$\frac{\partial z_j} {\partial w_{ij}}=o_i$

第一项是关于输出的误差函数的： $o_j$

\frac{\partial E}{\partial o_{j}} = \frac{- t_{j}}{o_{j}}

$\frac{\partial E} {\partial o_j} = \frac{-t_j}{o_j}$

中间项是softmax函数相对于其输入更难： $z_j$

\frac{\partial o_{j}}{\partial z_{j}} = \frac{\partial}{\partial z_{j}} \frac{e^{z_{j}}}{\sum_{j} e^{z_{j}}}

$\frac{\partial o_j} {\partial z_{j}}=\frac{\partial} {\partial z_{j}} \frac{e^{z_j}}{\sum_j e^{z_j}}$

假设我们有三个对应于类输出神经元则为： $a,b,c$ $o_b = softmax(b)$

o_{b} = \frac{e^{z_{b}}}{\sum e^{z}} = \frac{e^{z_{b}}}{e^{z_{a}} + e^{z_{b}} + e^{z_{c}}}

$o_b=\frac{e^{z_b}}{\sum e^{z}}=\frac{e^{z_b}}{e^{z_a}+e^{z_b}+e^{z_c}}$

及其使用商法则的推导：

\frac{\partial o_{b}}{\partial z_{b}} = \frac{e^{z_{b}} * \sum e^{z} - (e^{z_{b}})^{2}}{(\sum_{j} e^{z})^{2}} = \frac{e^{z_{b}}}{\sum e^{z}} - \frac{(e^{z_{b}})^{2}}{(\sum e^{z})^{2}}

$\frac{\partial o_b} {\partial z_{b}}=\frac{e^{z_b}*\sum e^z - (e^{z_b})^2}{(\sum_j e^{z})^2}=\frac{e^{z_b}}{\sum e^z}-\frac{(e^{z_b})^2}{(\sum e^z)^2}$

= s o f t m a x (b) - s o f t m a x^{2} (b) = o_{b} - o_{b}^{2} = o_{b} (1 - o_{b})

$=softmax(b)-softmax^2(b)=o_b-o_b^2=o_b(1-o_b)$ 返回用于反向传播的中间术语，这意味着：

\frac{\partial o_{j}}{\partial z_{j}} = o_{j} (1 - o_{j})

$\frac{\partial o_j} {\partial z_{j}}=o_j(1-o_j)$

放在一起我得到

\frac{\partial E}{\partial w_{i j}} = \frac{- t_{j}}{o_{j}} * o_{j} (1 - o_{j}) * o_{i} = - t_{j} (1 - o_{j}) * o_{i}

$\frac{\partial E} {\partial w_{ij}}= \frac{-t_j}{o_j}*o_j(1-o_j)*o_i=-t_j(1-o_j)*o_i$

这意味着，如果此类的目标是，那么我将不更新其权重。听起来不对。 $t_j=0$

通过对此进行调查，我发现人们对于softmax推导有两个变体，一个在其中，另一个在，就像这里或这里。 $i=j$ $i\ne j$

但是我对此毫无意义。另外，我什至不确定这是否是导致我出错的原因，这就是为什么我发布所有计算结果的原因。我希望有人可以向我澄清我缺少什么或出错了。

— 米查
source

给定的链接正在计算相对于输入的导数，而您正在计算相对于权重的导数。

— Jenkar '16

35

注意：我不是反向传播专家，但是现在阅读了一点，我认为以下警告是适当的。在神经网络上阅读论文或书籍时，通常使用标准求和/索引符号，矩阵符号和多索引符号（包括张量-张量导数的最后两种的混合形式）的混合形式来编写导数）。通常的目的是应该“从上下文中理解”，因此您必须要小心！

我注意到您的推导过程中存在一些不一致之处。我实际上并不做神经网络，因此以下内容可能不正确。但是，这就是我要解决的问题。

首先，您需要考虑中的总和，并且不能假设每个项仅取决于一个权重。因此，采取的梯度相对于组分的，我们有 $E$ $E$ $k$ $z$

E = - \sum_{j} t_{j} \log o_{j} ⟹ \frac{\partial E}{\partial z_{k}} = - \sum_{j} t_{j} \frac{\partial \log o_{j}}{\partial z_{k}}

$E=-\sum_jt_j\log o_j\implies\frac{\partial E}{\partial z_k}=-\sum_jt_j\frac{\partial \log o_j}{\partial z_k}$

然后，将为我们有其中是克罗内克三角洲。那么softmax分母的梯度为，得出或展开日志注意，导数是关于，任意 $o_j$

o_{j} = \frac{1}{Ω} e^{z_{j}}, Ω = \sum_{i} e^{z_{i}} ⟹ \log o_{j} = z_{j} - \log Ω

$o_j=\tfrac{1}{\Omega}e^{z_j} \,,\, \Omega=\sum_ie^{z_i} \implies \log o_j=z_j-\log\Omega$

\frac{\partial \log o_{j}}{\partial z_{k}} = δ_{j k} - \frac{1}{Ω} \frac{\partial Ω}{\partial z_{k}}

$\frac{\partial \log o_j}{\partial z_k}=\delta_{jk}-\frac{1}{\Omega}\frac{\partial\Omega}{\partial z_k}$

δ_{j k}

$\delta_{jk}$

\frac{\partial Ω}{\partial z_{k}} = \sum_{i} e^{z_{i}} δ_{i k} = e^{z_{k}}

$\frac{\partial\Omega}{\partial z_k}=\sum_ie^{z_i}\delta_{ik}=e^{z_k}$

\frac{\partial \log o_{j}}{\partial z_{k}} = δ_{j k} - o_{k}

$\frac{\partial \log o_j}{\partial z_k}=\delta_{jk}-o_k$

\frac{\partial o_{j}}{\partial z_{k}} = o_{j} (δ_{j k} - o_{k})

$\frac{\partial o_j}{\partial z_k}=o_j(\delta_{jk}-o_k)$

z_{k}

$z_k$ 分量，它给出项（仅当时才）。

z

$z$

δ_{j k}

$\delta_{jk}$

= 1

$=1$

k = j

$k=j$

这样的梯度相对于是然后其中是常数（对于给定的向量）。 $E$ $z$

\frac{\partial E}{\partial z_{k}} = \sum_{j} t_{j} (o_{k} - δ_{j k}) = o_{k} (\sum_{j} t_{j}) - t_{k} ⟹ \frac{\partial E}{\partial z_{k}} = o_{k} τ - t_{k}

$\frac{\partial E}{\partial z_k}=\sum_jt_j(o_k-\delta_{jk})=o_k\left(\sum_jt_j\right)-t_k \implies \frac{\partial E}{\partial z_k}=o_k\tau-t_k$

τ = \sum_{j} t_{j}

$\tau=\sum_jt_j$

t

$t$

这显示出与您的结果的第一个区别：不再乘以。请注意，对于为“单热” 的典型情况，我们有（如您的第一个链接中所述）。 $t_k$ $o_k$ $t$ $\tau=1$

第二个矛盾，如果我理解正确的话是，“ ”输入到似乎不太可能是“ ”，也就是从SOFTMAX输出。我认为这实际上是网络体系结构中的“更进一步”？ $o$ $z$ $o$

调用此向量，我们得到 $y$

z_{k} = \sum_{i} w_{i k} y_{i} + b_{k} ⟹ \frac{\partial z_{k}}{\partial w_{p q}} = \sum_{i} y_{i} \frac{\partial w_{i k}}{\partial w_{p q}} = \sum_{i} y_{i} δ_{i p} δ_{k q} = δ_{k q} y_{p}

$z_k=\sum_iw_{ik}y_i+b_k \implies \frac{\partial z_k}{\partial w_{pq}}=\sum_iy_i\frac{\partial w_{ik}}{\partial w_{pq}}=\sum_iy_i\delta_{ip}\delta_{kq}=\delta_{kq}y_p$

最后，要获得相对于权重矩阵的梯度，我们使用链规则给出最终表达式（假设一个） -hot，即）其中是（在您的示例中）最低级别的输入。 $E$ $w$

\frac{\partial E}{\partial w_{p q}} = \sum_{k} \frac{\partial E}{\partial z_{k}} \frac{\partial z_{k}}{\partial w_{p q}} = \sum_{k} (o_{k} τ - t_{k}) δ_{k q} y_{p} = y_{p} (o_{q} τ - t_{q})

$\frac{\partial E}{\partial w_{pq}}=\sum_k\frac{\partial E}{\partial z_k}\frac{\partial z_k}{\partial w_{pq}}=\sum_k(o_k\tau-t_k)\delta_{kq}y_p=y_p(o_q\tau-t_q)$

t

$t$

τ = 1

$\tau=1$

\frac{\partial E}{\partial w_{i j}} = y_{i} (o_{j} - t_{j})

$\frac{\partial E}{\partial w_{ij}}=y_i(o_j-t_j)$

y

$y$

因此，这显示出与您的结果的第二个差异：“ ”应该位于之下的水平（我称，而不是之上的水平（即）。 $o_i$ $z$ $y$ $z$ $o$

希望这会有所帮助。这个结果看起来更一致吗？

更新：为响应OP中的注释查询，这是第一步的扩展。首先，请注意向量链规则需要求和（请参阅此处）。其次，为确保获得所有梯度分量，应始终在偏导数的分母中为该分量引入新的下标字母。因此，要使用全链规则完全写出渐变，我们有和这样
$\frac{\partial E}{\partial w_{p q}} = \sum_{i} \frac{\partial E}{\partial o_{i}} \frac{\partial o_{i}}{\partial w_{p q}}$ $\frac{\partial E}{\partial w_{pq}}=\sum_i \frac{\partial E}{\partial o_i}\frac{\partial o_i}{\partial w_{pq}}$ $\frac{\partial o_{i}}{\partial w_{p q}} = \sum_{k} \frac{\partial o_{i}}{\partial z_{k}} \frac{\partial z_{k}}{\partial w_{p q}}$ $\frac{\partial o_i}{\partial w_{pq}}=\sum_k \frac{\partial o_i}{\partial z_k}\frac{\partial z_k}{\partial w_{pq}}$ $\frac{\partial E}{\partial w_{p q}} = \sum_{i} [\frac{\partial E}{\partial o_{i}} (\sum_{k} \frac{\partial o_{i}}{\partial z_{k}} \frac{\partial z_{k}}{\partial w_{p q}})]$ $\frac{\partial E}{\partial w_{pq}}=\sum_i \left[ \frac{\partial E}{\partial o_i}\left(\sum_k \frac{\partial o_i}{\partial z_k}\frac{\partial z_k}{\partial w_{pq}}\right) \right]$ 实际上，由于您有很多项，因此总和减少了。尽管它涉及很多“额外的”求和和下标，但使用完整链规则将确保您始终获得正确的结果。 $\delta_{ab}$

— GeoMatt22
source

我不确定“ Backprop / AutoDiff”社区如何解决这些问题，但是我发现只要尝试使用快捷方式，我都有可能犯错误。因此，我最终按照此处的方法进行操作，用加总下标的方式将所有内容写成和，并始终为每个导数引入新的下标。（类似于我在这里的回答……希望最终至少能给出正确的结果！）

— GeoMatt22'9

我个人发现，将所有内容写下来将使您更容易理解。结果对我来说看起来是正确的。

— 詹卡

尽管我仍在尝试完全理解您的每个步骤，但我得到了一些有价值的见解，这些对我的整体情况有所帮助。我想我需要阅读更多有关导数和和的主题。但是考虑到您的建议以考虑到E中的总和，我

— 想到

对于两个输出和和交叉熵误差为然后导数为符合您的结果...考虑到您在误差和之前没有减号

o_{j_{1}} = \frac{e^{z_{j_{1}}}}{Ω}

$o_{j_1}=\frac{e^{z_{j_1}}}{\Omega}$

o_{j_{1}} = \frac{e^{z_{j_{1}}}}{Ω}

$o_{j_1}=\frac{e^{z_{j_1}}}{\Omega}$

Ω = e^{z_{j_{1}}} + e^{z_{j_{2}}}

$\Omega=e^{z_{j_1}}+e^{z_{j_2}}$

E = - (t_{1} l o g o_{j_{1}} + t_{2} l o g o_{j_{2}}) = - (t_{1} (z_{j_{1}} - l o g (Ω)) + t_{2} (z_{j_{2}} - l o g (Ω)))

$E=-(t_1 log o_{j_1}+t_2 log o_{j_2})=-(t_1(z_{j_1}-log(\Omega))+t_2(z_{j_2}-log(\Omega)))$

\frac{\partial E}{\partial (z_{j_{1}}} = - (t_{1} - t_{1} \frac{e^{z_{j_{1}}}}{Ω} - t_{2} \frac{e^{z_{j_{2}}}}{Ω}) = - t_{1} + o_{j_{1}} (t_{1} + t_{2})

$\frac{\partial E}{\partial (z_{j_1}}=-(t_1-t_1 \frac{e^{z_{j_1}}}{\Omega}-t_2 \frac{e^{z_{j_2}}}{\Omega})=-t_1+o_{j_1}(t_1+t_2)$

— micha

但是我还有一个问题：不是，通常是反向传播引入的，计算得出：就像要取消。为什么以这种方式导致正确的结果？

\frac{\partial E}{\partial w_{i j}} = \frac{\partial E}{\partial o_{j}} \frac{\partial o_{j}}{\partial z_{j}} \frac{\partial z_{j}}{\partial w_{i j}}

$\frac{\partial E} {\partial w_{ij}}=\frac{\partial E} {\partial o_j} \frac{\partial o_j} {\partial z_{j}} \frac{\partial z_j} {\partial w_{ij}}$

\frac{\partial E}{\partial w_{i j}} = \frac{\partial E}{\partial z_{j}} \frac{\partial z_{j}}{\partial w_{i j}}

$\frac{\partial E} {\partial w_{ij}}=\frac{\partial E} {\partial z_{j}} \frac{\partial z_j} {\partial w_{ij}}$

\partial o_{j}

$\partial o_j$

— micha

12

虽然@ GeoMatt22的答案是正确的，但我个人认为将问题简化为一个玩具示例并绘制图片非常有用：

然后，我定义每个节点正在计算的操作，将和视为对“网络”的输入（是表示数据点类标签的单向矢量）： $h$ $w$ $\mathbf{t}$

L = - t_{1} \log o_{1} - t_{2} \log o_{2}

$L=-t_1\log o_1 -t_2\log o_2$

o_{1} = \frac{\exp (y_{1})}{\exp (y_{1}) + \exp (y_{2})}

$o_1 = \frac{\exp(y_1)}{\exp(y_1) + \exp(y_2)}$

o_{2} = \frac{\exp (y_{2})}{\exp (y_{1}) + \exp (y_{2})}

$o_2 = \frac{\exp(y_2)}{\exp(y_1) + \exp(y_2)}$

y_{1} = w_{11} h_{1} + w_{21} h_{2} + w_{31} h_{3}

$y_1 = w_{11}h_1 + w_{21}h_2 + w_{31}h_3$

y_{2} = w_{12} h_{1} + w_{22} h_{2} + w_{32} h_{3}

$y_2 = w_{12}h_1 + w_{22}h_2 + w_{32}h_3$

假设我要计算关于的损耗导数。我可以使用图片追溯从损失到我感兴趣的体重的路径（为清楚起见，删除了的第二列）： $w_{21}$ $w$

然后，我可以计算出所需的导数。请注意，有两条通过路径导致，因此我需要对通过它们的导数求和。 $y_1$ $w_{21}$

\frac{\partial L}{\partial o_{1}} = - \frac{t_{1}}{o_{1}}

$\frac{\partial L}{\partial o_1} = -\frac{t_1}{o_1}$

\frac{\partial L}{\partial o_{2}} = - \frac{t_{2}}{o_{2}}

$\frac{\partial L}{\partial o_2} = -\frac{t_2}{o_2}$

\frac{\partial o_{1}}{\partial y_{1}} = \frac{\exp (y_{1})}{\exp (y_{1}) + \exp (y_{2})} - {(\frac{\exp (y_{1})}{\exp (y_{1}) + \exp (y_{2})})}^{2} = o_{1} (1 - o_{1})

$\frac{\partial o_1}{\partial y_1} = \frac{\exp(y_1)}{\exp(y_1) + \exp(y_2)} - \left(\frac{\exp(y_1)}{\exp(y_1) + \exp(y_2)}\right)^2 = o_1(1 - o_1)$

\frac{\partial o_{2}}{\partial y_{1}} = \frac{- \exp (y_{2}) \exp (y_{1})}{(\exp (y_{1}) + \exp (y_{2}))^{2}} = - o_{2} o_{1}

$\frac{\partial o_2}{\partial y_1} = \frac{-\exp(y_2)\exp(y_1)}{(\exp(y_1) + \exp(y_2))^2} = -o_2o_1$

\frac{\partial y_{1}}{\partial w_{21}} = h_{2}

$\frac{\partial y_1}{\partial w_{21}} = h_2$

最后，将链式规则放在一起：

\begin{aligned} \frac{\partial L}{\partial w_{21}} & = \frac{\partial L}{\partial o_{1}} \frac{\partial o_{1}}{\partial y_{1}} \frac{\partial y_{1}}{\partial w_{21}} + \frac{\partial L}{\partial o_{2}} \frac{\partial o_{2}}{\partial y_{1}} \frac{\partial y_{1}}{\partial w_{21}} \\ = \frac{- t_{1}}{o_{1}} [o_{1} (1 - o_{1})] h_{2} + \frac{- t_{2}}{o_{2}} (- o_{2} o_{1}) h_{2} \\ = h_{2} (t_{2} o_{1} - t_{1} + t_{1} o_{1}) \\ = h_{2} (o_{1} (t_{1} + t_{2}) - t_{1}) \\ = h_{2} (o_{1} - t_{1}) \end{aligned}

$\begin{align} \frac{\partial L}{\partial w_{21}} &= \frac{\partial L}{\partial o_1}\frac{\partial o_1}{\partial y_1}\frac{\partial y_1}{\partial w_{21}} + \frac{\partial L}{\partial o_2}\frac{\partial o_2}{\partial y_1}\frac{\partial y_1}{\partial w_{21}}\\ &= \frac{-t_1}{o_1}[o_1(1 - o_1)]h_2 + \frac{-t_2}{o_2}(-o_2 o_1)h_2\\ &= h_2(t_2 o_1 - t_1 + t_1 o_1)\\ &= h_2(o_1(t_1 + t_2) - t_1)\\ &= h_2(o_1 - t_1) \end{align}$

请注意，在最后一步中，因为矢量是一个单矢量。 $t_1 + t_2 = 1$ $\mathbf{t}$

— Vivek Subramanian
source

这终于为我清除了一切！优秀而优雅的解释！！！

— SantoshGupta7

2

我很高兴你们都喜欢阅读我的帖子并从中受益！对我来说，写出来并解释它也很有帮助。

— Vivek Subramanian

@VivekSubramanian应该改为吗？

= \frac{- t_{1}}{o_{1}} [o_{1} (1 - o_{1})] h_{2} + \frac{- t_{2}}{o_{2}} (- o_{2} o_{1}) h_{2}

$= \frac{-t_1}{o_1}[o_1(1 - o_1)]h_2 + \frac{-t_2}{o_2}(-o_2 o_1)h_2\\$

— koryakinp '18

您是对的-这是一个错字！我将进行更改。

— Vivek Subramanian

我在这里不明白的是，您还为某些神经元分配了logit（未缩放分数）。（o是softmaxed logits（预测），y是您的情况的logits）。但是，通常不是这种情况，不是吗？看这张照片（o_out1是预测，o_in1是对数），那么在这种情况下如何找到相对于y1的o2的偏导数呢？

— 阿拉特

6

我需要一个字母的大写字母与小写字母不同的字母来代替。因此，让我替换。另外，让我们使用变量来指定上一层的。 $\{o_i\},\,$ $\{y_i\}$ $\{p_i\}$ $\{o_i\}$

令为对角矩阵，其对角线等于向量，即使用这个新的矩阵变量和Frobenius内积，我们可以计算 wrt的梯度。 $Y$ $y$

Y = D i a g (y)

$Y={\rm Diag}(y)$

E

$E$

W

$W$

\begin{aligned} z & = W p + b & d z = d W p \\ y & = s o f t m a x (z) & d y = (Y - y y^{T}) d z \\ E & = - t : \log (y) & d E = - t : Y^{- 1} d y \\ d E & = - t : Y^{- 1} (Y - y y^{T}) d z \\ = - t : (I - 1 y^{T}) d z \\ = - t : (I - 1 y^{T}) d W p \\ = (y 1^{T} - I) t p^{T} : d W \\ = ((1^{T} t) y p^{T} - t p^{T}) : d W \\ \frac{\partial E}{\partial W} & = (1^{T} t) y p^{T} - t p^{T} \end{aligned}

$\eqalign{ z &= Wp+b &dz= dWp \cr y &= {\rm softmax}(z) &dy = (Y-yy^T)\,dz \cr E &= -t:\log(y) &dE = -t:Y^{-1}dy \cr\cr dE &= -t:Y^{-1}(Y-yy^T)\,dz \cr &= -t:(I-1y^T)\,dz \cr &= -t:(I-1y^T)\,dW\,p \cr &= (y1^T-I)tp^T:dW \cr &= ((1^Tt)yp^T - tp^T):dW \cr\cr \frac{\partial E}{\partial W} &= (1^Tt)yp^T - tp^T \cr }$

— 坦率
source

6

这是我在网上看到的最干净，写得很好的笔记之一，它解释了“在具有反向熵损失函数的反向传播算法中计算导数”。

— 约塔比
source

在给定的pdf中，等式22如何变成等式23？就像求和（k！= i）如何得到负号一样。它不应该得到积极的信号吗？像Summation(Fn)(For All K) = Fn(k=i) + Summation(Fn)(k!=i)应根据我的理解发生。

— faizan

1

这是解释softmax及其导数的链接。

它说明了使用i = j和i！= j的原因。

— 穆罕默德·穆斯塔法
source

建议提供一个最小的独立答案，以防将来链接断开。否则，将来可能不再对其他用户有所帮助。

— luchonacho

0

其他答案提供了计算导数的正确方法，但它们并未指出您出了错。实际上，在您的最后一个方程式中始终为1，因为您假设在输出中采用了目标1的那个节点；其他节点的具有不同形式的概率函数，因此导致不同形式的导数，因此您现在应该了解为什么其他人对和区别对待。 $t_j$ $o_j$ $o_j$ $i=j$ $i\neq j$

— 奎雄
source