在反向传播中将所有初始权重设置为零的危险

为什么用零初始化权重是危险的？有没有简单的例子可以证明这一点？

编辑请参见下面的alfa评论。我不是神经网络方面的专家，所以请顺便告诉他。

我的理解与此处发布的其他答案不同。

我很确定反向传播会涉及增加现有权重，而不是相乘。您添加的数量由增量规则指定。请注意，wij不会出现在等式的右侧。

我的理解是，至少有两个充分的理由不将初始权重设置为零：

• 首先，神经网络倾向于陷入局部极小值，因此为它们提供许多不同的初始值是一个好主意。如果它们都从零开始，则不能这样做。

• 其次，如果神经元以相同的权重开始，则所有神经元将遵循相同的梯度，并且最终总是会做彼此相同的事情。

如果您认为权重是先验的，例如在贝叶斯网络中，那么您就排除了那些输入可能影响系统的任何可能性。另一个解释是，反向传播可以识别一组权重，以最小化目标值和观测值（E）之间的加权平方差。那么，如何在确定系统方向方面定向任何梯度下降算法？您将自己置于参数空间的鞍点上。

在反向传播算法的每次迭代中，您将通过将现有权重乘以由反向传播确定的增量来更新权重。如果初始权重值为0，则将其乘以任何增量值都不会更改权重，这意味着每次迭代都不会影响您要优化的权重。

在我看来，将权重初始化为相同值（不只是零）很不好的一个原因是，对于任何特定的隐藏层，该层中的所有节点将具有完全相同的输入，因此将保持与每个相同其他。

答案不完全是“局部最小值/最大值”。

当您有1个以上的“隐藏层”并且每个权重均为0时，无论Weight_i的大小是多少，都不会导致输出的变化。

这是因为增量Weight_i将被下一个隐藏层吸收。

当输出没有变化时，就没有梯度，因此就没有方向。

这与“局部最小值/最大值”具有相同的特征，但实际上是由于0的原因，这在技术上有所不同

将所有权重初始化为零的主要问题是数学上导致神经元值为零（对于多层）或增量为零。@alfa在上述答案中的评论之一中已经提供了提示，其中提到权重和增量的乘积需要为零。这实质上意味着，对于梯度下降而言，它位于山峰顶部的山顶上，并且无法破坏对称性。随机性将打破这种对称性，并且将达到局部最小值。即使我们稍微干扰一下重量，我们也会步入正轨。参考：从数据中学习第10课。

这是个坏主意，原因有两个：

1. $g(0) \neq 0$

2. $\tanh$$g(0) = 0$

让我们演示一下（为简单起见，我假设最终输出层为1个神经元）：

$\tanh$

$\mathcal{L}$$a^L$$z^L = W^{L} a^{L-1}$$W^{L}$

$$dW^{L}:= \frac{\partial\mathcal{L}}{\partial W^{L}} = \frac{\partial\mathcal{L}}{\partial a^L} \frac{\partial a^L}{\partial z^L} \frac{\partial z^L}{\partial W^{L}}$$ $\frac{\partial\mathcal{L}}{\partial a}$ is the derivative of the cost function, $\frac{\partial a}{\partial z}$ is the derivative of the activation function. Regardless of what their ($\frac{\partial\mathcal{L}}{\partial a} \frac{\partial a}{\partial z}$) value is, $\frac{\partial z}{\partial W}$ simply equals to the previous layer outputs, i.e. to $a^{L-1}$, but since they are all the same, you get that the final result $dW^{L}$ is a vector with all element equal. So, when you'll update $W^L = W^L - \alpha dW^L$ it will move in the same direction. And the same goes for the previous layers.

Point 2 can be shown from the fact that $a^{L-1}$ will be equal to zero's. Hence your $dW^L$ vector will be full of zeros, and no learning can be achieved.