截断正态分布在神经网络中初始化权重有什么好处？

在前馈神经网络中初始化连接权重时，重要的是随机初始化它们，以避免学习算法无法打破的任何对称性。

我在不同地方（例如TensorFlow的MNIST教程）中看到的建议是使用标准偏差为的截断正态分布，其中是输入的数量给定的神经元层。$\dfrac{1}{\sqrt{N}}$$N$

我相信标准偏差公式可确保反向传播的梯度不会很快溶解或放大。但是我不知道为什么我们要使用截断的正态分布而不是正态正态分布。是否要避免稀疏的异常权重？

我认为这与神经元的饱和有关。考虑一下您有一个像S型一样的激活功能。

如果您的体重val值> = 2或<=-2，您的神经元将不会学习。因此，如果您截断正态分布，则根据您的方差，将不会出现此问题（至少从初始化开始）。我认为这就是为什么，通常最好使用截断法线。

使用截断的正态分布的好处是可以防止由于使用relu_logits而生成“死亡神经元”，这将在此处进行说明。

通常应使用少量噪声来初始化权重，以防止对称性破坏并防止0梯度。由于我们使用的是ReLU神经元，因此以略为正的初始偏差初始化它们也是一种好习惯，以避免“死神经元”。