为什么ReLU比其他激活功能更好

这里的答案指的是sigmoid像激活函数一样已经消失的梯度和爆炸的梯度，但是我猜Relu它有一个缺点，那就是它的期望值。对的输出没有限制Relu，因此其期望值不为零。我记得之前的时间普及Relu这tanh是最流行之间机器学习专家，而不是sigmoid。原因是的期望值tanh等于零，并且有助于更深层次的学习，从而在神经网络中更快地学习。Relu没有这个特性，但是如果我们不考虑它的派生优势，为什么它会如此出色。而且，我猜导数也可能会受到影响。因为激活（输出Relu）用于计算更新规则。

RELU的最大优点确实是它的梯度，其大大加快的随机梯度下降收敛相比乙状结肠/双曲正切函数（非饱和纸由Krizhevsky等人）。

但这不是唯一的优势。这里是对ReLu激活和诱导正则化的稀疏效应的讨论。另一个不错的特性是，与涉及昂贵操作（指数等）的tanh / S形神经元相比，ReLU可以通过简单地将激活矩阵阈值设为零来实现。

但是我不相信现代神经网络的巨大成功仅仅是由于ReLu 。新的初始化技术，例如Xavier初始化，辍学和（后来的）batchnorm也起着非常重要的作用。例如，著名的AlexNet使用ReLu 和 Dropout 。

因此，请回答您的问题：ReLu具有非常好的属性，尽管并不理想。但是，当与其他出色的技术结合使用时，它才能真正证明自己，这些技术可以解决您提到的非零中心问题。

UPD：ReLu输出确实不是零中心的，并且确实损害了NN的性能。但是，可以通过其他正则化技术（例如batchnorm）解决此特定问题，该技术可在激活之前对信号进行归一化：

$x = Wu+ b$