神经网络：体重变化动量和体重衰减

动量用于减少连续迭代中权重变化的波动：$\alpha$

È（瓦特）瓦特

$$\Delta\omega_i(t+1) = - \eta\frac{\partial E}{\partial w_i} + \alpha \Delta \omega_i(t),$$ 其中是误差函数， -权重向量，学习率。$E({\bf w})$${\bf w}$$\eta$

重量衰减会影响重量变化：$\lambda$

$$\Delta\omega_i(t+1) =- \eta\frac{\partial E}{\partial w_i} - \lambda\eta\omega_i$$

问题是，在反向传播过程中将这两种技巧结合在一起是否有意义，并且会产生什么效果？

$$\Delta\omega_i(t+1) = - \eta\frac{\partial E}{\partial w_i} + \alpha \Delta \omega_i(t) - \lambda\eta\omega_i$$

是的，同时使用这两种技巧非常普遍。他们解决了不同的问题，可以很好地合作。

一种思考的方法是，重量衰减会改变正在优化的功能，而动量会改变您达到最佳状态的路径。

通过将系数缩小为零，权重衰减可确保您找到具有小幅度参数的局部最优值。这通常对于避免过拟合至关重要（尽管权重的其他类型的约束也可以起作用）。作为附带的好处，通过使目标函数更凸，它还可以使模型更易于优化。

一旦有了目标功能，就必须决定如何在目标功能上四处移动。在梯度上最陡的下降是最简单的方法，但您说对了，波动可能是个大问题，这是正确的。增加动力有助于解决该问题。如果您正在使用批处理更新（对于神经网络通常不是一个好主意），则牛顿型步骤是另一种选择。新的“热”方法基于Nesterov的加速梯度和所谓的“无Hessian”优化。

但是，无论您使用哪种更新规则（动量，牛顿等），仍在使用相同的目标函数，该目标函数由误差函数（例如平方误差）和其他约束条件（例如权重衰减）确定。在决定使用哪种权重时，主要的问题是您将很快获得一组好的权重。