神经网络（例如卷积神经网络）可以具有负权重吗？

当我们对所有激活层使用ReLU时，深度卷积神经网络是否有可能具有负权重（在足够的历时之后）？

整流线性单位（ReLUs）仅使神经元的输出为非负值。然而，取决于训练数据，网络的参数可以并且将变为正或负。

我现在可以想到以下两个原因，这些原因（直观地）证明了为什么某些参数会变为负数：

1. 参数的正则化（又称权重衰减）；参数值的变化使预测成为可能，并且如果参数以零为中心（即，其均值接近零），则其范数（这是标准正则化函数）较低。$\ell 2$

2. 尽管某层输出相对于各层参数的梯度取决于该层的输入（假设前一层将其输出通过ReLU始终为正），但是误差的梯度（即距离最终输出层较近的层）可能为正或为负，这使得SGD在采取下一个梯度步骤后可以使某些参数值变为负。更具体地说，让，和表示神经网络中一层的输入，输出和参数。同样，令为由一些训练样本引起的网络的最终误差。相对于的误差梯度计算如下$I$$O$$w$$E$$w$$\frac{\partial E}{\partial w} = \left( \sum_{k=1}^K\frac{\partial E}{\partial O_k} \right) \cdot \frac{\partial O_k}{\partial w}$ ; 请注意，（请参见下图）：$O_k = O, \forall k$

想象一下，您拥有的权重都是非负的。

现在反转一些输入变量。此设置的最佳网络是颠倒边的权重，因此新的权重是非正的。$x'_i = -x_i$$\{x'_i,y\}$

除非您使用其他激活功能，例如Leaky ReLU。第一个层之后的校正层权重是非负的，无论训练中有多少个历元。