反向传播算法的动量项如何工作？

当使用带有动量项的反向传播算法更新神经网络的权重时，是否也应将学习率应用于动量项？

我可以找到的有关动量的大多数信息都使方程看起来像这样：

$W_{i}' = W_{i} - \alpha \Delta W_i + \mu \Delta W_{i-1}$

其中 $\alpha$ 是学习率，是动量项。 $\mu$

如果项大于项，则在下一次迭代中，前一次迭代的对权重的影响将大于当前值。 $\mu$ $\alpha$ $\Delta W$

这是动量术语的目的吗？还是方程看起来更像这样？

$W_{i}' = W_{i} - \alpha( \Delta W_i + \mu \Delta W_{i-1})$

即。通过学习率扩展一切吗？

machine-learning neural-networks

— guskenny83
source

与网络中使用反向传播与动量不同的权重的个校正重量由下式给出 $n$ $W_k$ $i$ $W_k$

其中 $\Delta W_k(i) = -\alpha \frac{\partial E}{\partial W_k} + \mu \Delta W_k(i-1)$ 是损耗WRT的变化。 $\frac{\partial E}{\partial W_k}$ $W_k$

动量速率的引入允许衰减梯度下降中的振荡。通过线性情况下的本征空间分析，可以最好地理解该思想背后的几何思想。如果最小特征值和最大特征值之间的比率较大，则即使由于矩阵条件而导致的学习速率较大，执行梯度下降的速度也会很慢。动量在与较低和较大特征值相关的特征向量之间的更新中引入了一些平衡。

— 尼科
source

背带代表什么？

— David Richerby

好，所以动量项被计算当掺入

术语，而不是计算“新的”权重值时，上加入？只是为了澄清，如果你的长期

？还是它是实际重量的一部分而不是比率的变化？感谢您的回复以及该论文的链接。

Δ W_{k}

$\Delta W_k$

μ W_{k} (i - 1)

$\mu W_k(i-1)$

μ Δ W_{k} (i - 1)

$\mu \Delta W_k(i-1)$

— guskenny83 2014年

感谢您指出错误。当然，

Δ W_{k} (i - 1)

$\Delta W_k(i-1)$

— 尼科

“损失的变化”是什么意思？就像“错误的变化”吗？

— starbeamrainbowlabs

它仅表示相对于权重的误差的导数。

— nico