方差缩放初始值设定项和xavier初始值设定项有什么区别？

在Tensorflow的ResNet实现中，我发现它们使用方差缩放初始值设定项，我还发现xavier初始值设定项很流行。我对此没有太多经验，在实践中哪个更好？

历史的角度

Xavier初始化，最初由Xavier Glorot和Yoshua Bengio在“理解深度前馈神经网络的训练知识”中提出，是一种权重初始化技术，它试图使层的输出方差等于其输入方差。 。事实证明，这个想法在实践中非常有用。自然，此初始化取决于层激活功能。Glorot和Bengio在他们的论文中考虑了逻辑乙状结肠激活函数，这是当时的默认选择。

后来，Sigmoid激活被ReLu超越，因为它可以解决消失/爆炸梯度问题。因此，出现了一种新的初始化技术，该技术将相同的想法（激活差异的平衡）应用于此新激活函数。它由Kaiming He等人在“深入整流器：在ImageNet分类中超越人类水平的性能”中提出，现在通常称为He初始化。

在tensorflow中，He初始化是在variance_scaling_initializer()函数中实现的（实际上是更通用的初始化器，但默认情况下执行He初始化），而Xavier初始化器在逻辑上是xavier_initializer()。

摘要

总而言之，机器学习从业者的主要区别如下：

• 他的初始化对于使用ReLu的图层效果更好激活的。
• Xavier初始化对于具有S型激活的图层效果更好。

方差缩放只是Xavier的概括：http : //tflearn.org/initializations/。它们都基于以下原则工作：梯度的比例在所有图层上都应相似。Xavier可以经受时间的考验，因此使用起来可能更安全。尝试选择自己的参数进行方差缩放可能会抑制训练或导致您的网络根本无法赚钱。