2
截断正态分布在神经网络中初始化权重有什么好处？
在前馈神经网络中初始化连接权重时，重要的是随机初始化它们，以避免学习算法无法打破的任何对称性。 我在不同地方（例如TensorFlow的MNIST教程）中看到的建议是使用标准偏差为的截断正态分布，其中是输入的数量给定的神经元层。1个ñ--√1个ñ\dfrac{1}{\sqrt{N}}ññN 我相信标准偏差公式可确保反向传播的梯度不会很快溶解或放大。但是我不知道为什么我们要使用截断的正态分布而不是正态正态分布。是否要避免稀疏的异常权重？