参阅有关视觉识别的卷积神经网络的斯坦福课程笔记，一段内容如下：

“不幸的是，ReLU单元在训练过程中可能很脆弱，并且可能“死亡”。例如，流过ReLU神经元的大梯度可能导致权重更新，从而使神经元再也不会在任何数据点上激活。如果发生这种情况，那么从该点开始流过该单元的梯度将永远为零，也就是说，ReLU单元在训练过程中可能会不可逆地死亡，因为它们可能会从数据流形上脱落下来。例如，您可能会发现多达40个如果学习率设置得太高，您的网络中的％可能是“死亡”的（即永远不会在整个训练数据集中激活的神经元）。通过适当设置学习率，这通常不会成为问题。

这里的神经元死亡意味着什么？

您能否以更简单的方式提供直观的说明。

对于任何输入，“死” ReLU始终输出相同的值（发生时为零，但这并不重要）。可能是通过为其权重学习一个较大的负偏差项来实现的。

反过来，这意味着它在区分输入之间不起作用。为了进行分类，您可以将其可视化为所有可能输入数据之外的决策平面。

一旦ReLU以这种状态结束，就不太可能恢复，因为0处的函数梯度也为0，因此梯度下降学习不会改变权重。对于负输入（y=0.01x当x <0时说）具有小的正斜率的“漏” ReLU 是解决此问题并提供恢复机会的一种尝试。

乙状结肠和tanh神经元的值饱和时可能会遇到类似的问题，但始终至少存在一个小的梯度，可以使它们长期恢复。

让我们回顾一下ReLU（整流线性单位）的样子：

对于某些输入，整流器的输入为 （权重为，并且对于该特定输入从上一层进行激活。整流神经元函数为$x_n$

$$z_n=\sum_{i=0}^k w_i a^n_i$$ $w_i$$a^n_i$$x_n$$ReLU = max(0,z_n)$

假设一个非常简单的错误度量

$$error = ReLU - y$$

对于反向传播算法的增量，整流器只有2个可能的梯度值： （如果我们使用适当的错误度量，则1会变成其他东西，但0会保持不变），因此对于一定权重：

$$\frac{\partial error}{\partial z_n} = \delta_n = \left\{ \begin{array}{c l} 1 & z_n \geq 0\\ 0 & z_n < 0 \end{array}\right.$$ $w_j$ $$\nabla error = \frac{\partial error}{\partial w_j}=\frac{\partial error}{\partial z_n} \times \frac{\partial z_n}{\partial w_j} = \delta_n \times a_j^n = \left\{ \begin{array}{c 1} a_j^n & z_n \geq 0\\ 0 & z_n < 0 \end{array}\right.$$

我想到的一个问题是，在左侧渐变 0的情况下，ReLU实际上是如何“完全”起作用的。如果对于输入，当前权重将ReLU放在左侧平坦的一侧，而对于此特定输入而言，它应该在右侧最好是右侧？梯度为0，因此权重将不会更新，甚至不会更新，因此“学习”在哪里？$=$$x_n$

答案的实质在于以下事实：随机梯度下降不仅将考虑单个输入，而且还将考虑其中的许多输入，并且希望并非所有输入都将ReLU放在平坦的一面，因此梯度将不对于某些输入为-零（尽管可能为+ ve或-ve）。如果至少一个输入有我们RELU在陡峭的一侧，则RELU仍然活着 ，因为有还在学习怎么回事和权重获取此神经元更新。如果所有输入都将ReLU放在平坦的一侧，则根本没有希望权重发生变化并且神经元已死的希望。$x_n$$x_*$

ReLU可能还活着，然后由于某些输入批次的梯度步骤而死亡，从而将权重驱动为较小的值，从而使所有输入的。学习率高会放大此问题。$z_n < 0$

正如@Neil Slater所提到的，解决方法是将平坦边修改为具有较小的渐变，以使其变为，如下所示，称为LeakyReLU。 $ReLU=max(0.1x,x)$

ReLU神经元输出零，并且所有负输入的零导数都为零。因此，如果网络中的权重始终导致ReLU神经元的负输入，则该神经元实际上无助于网络的训练。在数学上，来自该神经元的权重更新对梯度的贡献始终为零（有关详细信息，请参见数学附录）。

在给定神经元的所有输入中，您的体重最终会产生负数的机会是什么？通常很难回答这个问题，但是一种可能发生的方法是对权重进行太大的更新。回想一下，通常通过使用梯度下降法将权重的损失函数最小化来训练神经网络。也就是说，神经网络的权重是函数的“变量” （损失取决于数据集，但仅是隐式的：通常是每个训练示例的总和，每个示例实际上是一个常数）。由于任何函数的梯度始终指向最陡峭的增加方向，因此我们要做的就是计算的梯度$L(W)$$L$$L$相对于重物并沿相反的方向移动一点，然后冲洗并重复。这样，我们最终得到的（局部）最小值。因此，如果输入的大小大致相同，则在梯度方向上的较大步幅可能会给您带来权重，而权重却给出相似的输入，最终可能为负数。$W$$L$

通常，发生什么情况取决于信息如何通过网络流动。您可以想象，随着训练的进行，神经元产生的值可能会漂移，并使权重杀死通过它们的所有数据流成为可能。（尽管有时，由于网络中较早的权重更新，它们可能会留下这些不利的配置！）。我在有关权重初始化的博客文章中探讨了这个想法，权重初始化也可能导致此问题及其与数据流的关系。我认为我的观点可以通过那篇文章的情节加以说明：

在以不同的初始化策略通过网络后，该图在带有ReLU激活的5层多层感知器中显示了激活。您会看到，根据重量配置，网络的输出可能会被阻塞。

数学附录

从数学上讲，如果是网络的损失函数，则是第层中第个神经元的输出，是ReLU神经元，并且是 -st层的线性输入，然后通过链式法则，损失的导数相对于连接第 -th和 -的权重st层是$L$$x_j^{(i)}$$j$$i$$f(s) = \max(0, s)$$s^{(i)}_j$$(i+1)$$i$$(i+1)$

$$\frac{\partial L}{\partial w_{jk}^{(i)}} = \frac{\partial L}{\partial x_k^{(i+1)}} \frac{\partial x_k^{(i+1)}}{\partial w_{jk}^{(i)}}\,.$$

右边的第一项可以递归计算。右边的第二项是唯一直接涉及权重，可以分解为$w_{jk}^{(i)}$

$$\begin{align*} \frac{\partial{x_k^{(i+1)}}}{\partial w_{jk}^{(i)}} &= \frac{\partial{f(s^{(i)}_j)}}{\partial s_j^{(i)}} \frac{\partial s_j^{(i)}}{\partial w_{jk}^{(i)}} \\ &=f'(s^{(i)}_j)\, x_j^{(i)}. \end{align*}$$

从中可以看出，如果输出始终为负，则不会更新进入神经元的权重，并且神经元也不会有助于学习。

为了更具体地说明语言，尽管ReLU的局部梯度（为）乘以由于反向传播而回流的梯度，但更新后的梯度的结果可能是一个较大的负数（如果该梯度流向-后面是一个很大的负数）。$1$

当学习率相对较高时，如此大的负更新梯度会产生较大的负，因此将抑制此神经元中将发生的更新，因为几乎不可能设置一个大正数来抵消由该神经元带来的大负数。损坏”。W¯¯ $w_i$$w_i$

“ Ding ReLU”是指在训练集中为您的数据输出0的神经元。发生这种情况是因为对于所有输入模式，神经元中输入的权重 *的总和（也称为激活）变为<= 0。这导致ReLU输出0。在这种情况下，由于ReLU的导数为0，因此不会进行权重更新，并且神经元会停留在输出0处。

注意事项：

1. 垂死的ReLU并不意味着神经元的输出在测试时也将保持零。根据分布差异，情况可能会也可能并非如此。
2. 垂死的ReLU并非永久死亡。如果您添加新的训练数据或使用预先训练的模型进行新的训练，这些神经元可能会反冲！
3. 从技术上讲，即将死亡的ReLU不必为所有训练数据输出0。对于某些数据，它确实可能会输出非零值，但时期数不足以显着移动权重。