通过输入得出单层神经网络的梯度，链规则中的算子是什么？

9

问题是：

对于使用Sigmoid作为输入->隐藏，softmax用于隐藏->输出的单个隐藏层神经网络，得出具有相对熵损失的输入层的梯度。

我可以使用链式规则来完成大部分推导，但是我不确定如何将它们实际“链式”在一起。

定义一些符号

$r = xW_1+b_1$

$h = \sigma\left( r \right)$ ，是S型函数 $\sigma$

$\theta = hW_2+b_2$ ，

$\hat{y} = S \left( \theta \right)$ ，是softmax函数 $S$

$J\left(\hat{y}\right) = \sum_i y \log\hat{y}_i$ ，是实标号单热向量 $y$

然后根据链式规则

\frac{\partial Ĵ}{\partial X} = \frac{\partial Ĵ}{\partial θ} \cdot \frac{\partial θ}{\partial H} \cdot \frac{\partial H}{\partial [R} \cdot \frac{\partial [R}{\partial X}

$\frac{\partial J}{\partial \boldsymbol{x}} = \frac{\partial J}{\partial \boldsymbol{\theta}} \cdot \frac{\partial \boldsymbol{\theta}}{\partial \boldsymbol{h}} \cdot \frac{\partial \boldsymbol{h}}{\partial \boldsymbol{r}} \cdot \frac{\partial \boldsymbol{r}}{\partial \boldsymbol{x}}$

各个渐变为：

\frac{\partial Ĵ}{\partial θ} = （ \hat{ÿ} - ÿ ）

$\frac{\partial J}{\partial \boldsymbol{\theta}} = \left( \hat{\boldsymbol{y}} - \boldsymbol{y} \right)$

\frac{\partial θ}{\partial H} = \frac{\partial}{\partial H} [H {w ^}_{2} + b_{2}] = {w ^}_{2}^{Ť}

$\frac{\partial \boldsymbol{\theta}}{\partial \boldsymbol{h}} = \frac{\partial}{\partial \boldsymbol{h}} \left[ \boldsymbol{h}W_2 + \boldsymbol{b_2}\right] = W_2^T$

\frac{\partial H}{\partial [R} = H \cdot （ 1个 - H ）

$\frac{\partial \boldsymbol{h}}{\partial \boldsymbol{r}} = h \cdot \left(1-h\right)$

\frac{\partial [R}{\partial X} = \frac{\partial}{\partial X} [X {w ^}_{1个} + b_{1个}] = {w ^}_{1个}^{Ť}

$\frac{\partial \boldsymbol{r}}{\partial \boldsymbol{x}} = \frac{\partial}{\partial \boldsymbol{x}} \left[ \boldsymbol{x}W_1 + \boldsymbol{b_1}\right] = W_1^T$

现在，我们必须将定义链接在一起。在单变量中，这很容易，我们只需将所有内容相乘即可。在向量中，我不确定是否要使用逐元素乘法或矩阵乘法。

\frac{\partial J}{\partial x} = (\hat{y} - ÿ ） * {w ^}_{2}^{Ť} \cdot [H \cdot （ 1个 - H ）] * {w ^}_{1个}^{Ť}

$\frac{\partial J}{\partial \boldsymbol{x}} = \left( \hat{\boldsymbol{y}} - \boldsymbol{y} \right) * W_2^T \cdot \left[\boldsymbol{h} \cdot \left(1-\boldsymbol{h}\right)\right] * W_1^T$

其中是向量的逐元素乘法，而是矩阵乘法。这种操作组合是我似乎将它们串在一起以获得维向量的唯一方法，我知道是必须的。 $\cdot$ $*$ $1 \cdot D_x$ $\frac{\partial J}{\partial \boldsymbol{x}}$

我的问题是：我找出要使用的运算符的原则方法是什么？我对和之间的元素方式的需求感到特别困惑。 $W_2^T$ $h$

谢谢！

neural-networks gradient

— 天川
source

我意识到通常找不到输入的梯度梯度。我相信这是计算单词嵌入的一种方法，您可以选择优化“输入”单词向量。

— amatsukawa

您如何看待dj / dTheta

— raaj

4

我认为，回答这个问题的关键是要指出，逐元素乘法实际上是简写形式，因此，当您导出方程式时，您实际上从未使用过它。

实际操作不是逐元素乘法而是梯度的用一个标准的矩阵乘法雅可比，总是。

在非线性的情况下，相对于非线性的矢量输入，非线性的矢量输出的雅可比矩阵碰巧是对角矩阵。因此，确实是，乘以该矩阵的梯度等于非线性相对于损耗元素的输出乘以包含非线性相对于非线性输入的所有偏导数的向量的梯度，但这种遵循从雅可比之中对角线。您必须通过雅可比行列式步骤才能进行元素级乘法，这可能解释了您的困惑。

在数学中，我们有一些非线性，损耗，以及非线性输入（这可以是任何张量）。非线性的输出具有相同的维数 ---正如@Logan所说，激活函数定义为逐元素的。 $s$ $L$ $x \in \mathbb{R}^{n \times 1}$ $s(x) \in \mathbb{R}^{n \times 1}$

我们想要

\nabla_{x} L = {(\frac{\partial s (x)}{\partial x})}^{T} \nabla_{s (x)} L

$\nabla_{x}L=\left({\dfrac{\partial s(x)}{\partial x}}\right)^T\nabla_{s(x)}L$

其中是的雅可比行列式。扩展这个Jacobian，我们得到 $\dfrac{\partial s(x)}{\partial x}$ $s$

[\begin{matrix} \frac{\partial s （ X_{1个} ）}{\partial x_{1个}} & \dots & \frac{\partial s （ X_{1个} ）}{\partial X_{ñ}} \\ ⋮ & ⋱ & ⋮ \\ \frac{\partial s （ X_{ñ} ）}{X_{1个}} & \dots & \frac{\partial s （ X_{ñ} ）}{\partial X_{ñ}} \end{matrix}]

$\begin{bmatrix} \dfrac{\partial{s(x_{1})}}{\partial{x_1}} & \dots & \dfrac{\partial{s(x_{1})}}{\partial{x_{n}}} \\ \vdots & \ddots & \vdots \\ \dfrac{\partial{s(x_{n})}}{x_{1}} & \dots & \dfrac{\partial{s(x_{n})}}{\partial{x_{n}}} \end{bmatrix}$

我们看到，除对角线外，其他所有地方都为零。我们可以对所有对角元素做一个向量

d 一世 一个 G （ \frac{\partial s （ X ）}{\partial X} ）

$Diag\left(\dfrac{\partial s(x)}{\partial x}\right)$

然后使用按元素运算符。

\nabla_{X} 大号 = {（ \frac{\partial s （ X ）}{\partial X} ）}^{Ť} \nabla_{s （ X ）} 大号 = d 一世 一个 G （ \frac{\partial s （ X ）}{\partial X} ） \circ \nabla_{s （ X ）} 大号

$\nabla_{x}L =\left({\dfrac{\partial s(x)}{\partial x}}\right)^T\nabla_{s(x)}L =Diag\left(\dfrac{\partial s(x)}{\partial x}\right) \circ \nabla_{s(x)}L$

— 用户0
source

0

每当与激活函数成反比时，操作就变成按元素进行。具体来说，在您的示例中，是反向传播导数，而是激活导数，它们的乘积是元素乘积，。这是因为激活函数在神经网络中被定义为元素操作。 $\delta_2 =(\hat{y}-y)W_2^T$ $a' = h \circ (1 -h)$ $\delta_2 \circ a'$

请参阅cs224d 讲义幻灯片第30页，它也可能会有所帮助。

— 洛根
source