萨尔瓦多·达利（Salvador Dali）的答案已经解释了一些流行方法（即优化器）之间的区别，但是我将尝试进一步阐述它们。
（请注意，我们的回答在某些方面存在分歧，尤其是关于ADAGRAD。）
经典动量（CM）vs内斯特罗夫的加速梯度（NAG）
（主要基于这篇论文的第2节，关于深度学习中的初始化和动量的重要性。）
CM和NAG中的每个步骤实际上都由两个子步骤组成：
- 动量子步骤-这只是
[0.9,1)最后一步的一小部分（通常在范围内）。
- 依赖于梯度的子步骤-这就像SGD中的常规步骤-它是学习率和与梯度相反的向量的乘积，而梯度是在此子步骤开始的地方进行计算的。
CM首先采取梯度子步骤，而NAG首先采取动量子步骤。
这是有关CM和NAG直觉的答案的演示：
所以NAG似乎更好（至少在图像中），但是为什么呢？
要注意的重要一点是，动量子步骤何时出现并不重要-两种方法都相同。因此，如果动量子步骤已经采取，我们也可能会表现出来。
因此，问题实际上是：假设梯度子步骤是在动量子步骤之后进行的，我们是否应该将梯度子步骤计算为好像它是在采取动量子步骤之前或之后的位置开始的？
通常，“在它之后”似乎是正确的答案，在某些点上的渐变θ大致将您指向从θ到最小的方向（幅度相对正确），而在其他点上的渐变则不太可能将您指向从θ最小的方向（幅度相对正确）。
这是一个演示（来自下面的gif）：
- 最小值是星形所在的位置，曲线是等高线。（有关轮廓线以及为什么它们垂直于渐变的说明，请参见传奇的3Blue1Brown的视频1和2。）
- （长）紫色箭头是动量子步骤。
- 如果透明红色箭头在动量子步骤之前开始，则为梯度子步骤。
- 如果黑色箭头在动量子步骤之后开始，则为梯度子步骤。
- CM将最终到达深红色箭头的目标。
- NAG将最终到达黑色箭头的目标。
请注意，关于为什么NAG更好的论点与算法是否接近最小值无关。
通常，NAG和CM都经常积聚更多的动量而不是对他们有益的问题，因此，每当他们改变方向时，它们都有一个尴尬的“响应时间”。我们所解释的NAG相对于CM的优势并不能解决问题，而只是使NAG的“响应时间”减少了尴尬（但仍然令人尴尬）。
Alec Radford的gif （在萨尔瓦多·达利的回答中出现）很好地展示了这个“响应时间”问题：
达格拉德
（主要基于ADADELTA：自适应学习率方法（原始ADADELTA论文）中的2.2.2节，因为我发现它比在线学习和随机优化的自适应次梯度方法（原始ADAGRAD论文）更容易获得。）
在SGD中，步骤由给出- learning_rate * gradient，learning_rate而是超参数。
ADAGRAD还具有一个learning_rate超参数，但是每个梯度分量的实际学习率都是单独计算的。第-步
的i-th分量由下式t给出：
learning_rate
- --------------------------------------- * gradient_i_t
norm((gradient_i_1, ..., gradient_i_t))
而：
gradient_i_k是-th步骤中i渐变的-th分量k(gradient_i_1, ..., gradient_i_t)是带有t分量的向量。构造这样的向量是有意义的（至少对我而言），这不是直觉的，但这就是算法所做的（概念上）。norm(vector)是的欧几里得范数（又称l2范数）vector，这是我们对的长度的直观概念vector。- 令人困惑的是，在ADAGRAD（以及其他方法）中，乘以
gradient_i_t（在这种情况下为）的表达式learning_rate / norm(...)通常称为“学习率”（实际上，我在上一段中将其称为“实际学习率”） ）。我猜这是因为在SGD中，learning_rate超参数和此表达式是相同的。
- 在实际的实现中，会将一些常数添加到分母，以防止被零除。
例如：
i第一步的梯度的-th分量是1.15i第二步中梯度的-th分量是1.35i第三步中梯度的-th分量是0.9
则范数(1.15, 1.35, 0.9)是黄线的长度，即：
sqrt(1.15^2 + 1.35^2 + 0.9^2) = 1.989。
因此，i第三步的第-个组件是：- learning_rate / 1.989 * 0.9
请注意有关i步骤-th组件的两件事：
- 它与成正比
learning_rate。
- 在计算中，规范在增加，因此学习率在下降。
这意味着ADAGRAD对超参数的选择很敏感learning_rate。
另外，可能是步骤过短后，ADAGRAD实际上陷入了困境。
ADADELTA和RMSProp
摘自ADADELTA论文：
本文提出的想法源自ADAGRAD，以改善该方法的两个主要缺点：1）在整个训练过程中学习率持续下降，以及2）需要手动选择的全局学习率。
然后，本文解释了旨在解决第一个缺点的改进：
我们不是将累积的梯度平方和一直累积在一起，而是将过去累积的梯度窗口限制为某个固定大小w。这样可以确保即使在完成多次更新之后，学习仍继续取得进展。
由于存储w以前的平方梯度效率低下，因此我们的方法将这种累积实现为平方梯度的指数衰减平均值。
通过“平方梯度的指数衰减平均值”，本文意味着对于每个梯度，我们都对计算出的所有梯度的所有i平方i的所有平方分量进行加权平均。
每个平方的i分量的权i重大于上一步中平方的分量的权重。
这是一个大小窗口的近似值，w因为先前步骤中的权重非常小。
（当我想到指数衰减的平均值时，我喜欢形象化彗星的踪迹，随着它离彗星越来越远，它的踪迹变得越来越暗：
）
如果仅对ADAGRAD进行此更改，那么您将获得RMSProp，这是Geoff Hinton在Coursera类的第6e讲中提出的方法。
因此，在RMSProp中，i第t-步的-th分量由下式给出：
learning_rate
- ------------------------------------------------ * gradient_i_t
sqrt(exp_decay_avg_of_squared_grads_i + epsilon)
而：
epsilon 是防止被零除的超参数。exp_decay_avg_of_squared_grads_i是i所有计算出的梯度（包括gradient_i_t）的平方次方的指数衰减平均值。
但是如上所述，ADADELTA还旨在摆脱learning_rate超参数，因此其中必须包含更多内容。
在ADADELTA中，i第t-步的-th分量由下式给出：
sqrt(exp_decay_avg_of_squared_steps_i + epsilon)
- ------------------------------------------------ * gradient_i_t
sqrt(exp_decay_avg_of_squared_grads_i + epsilon)
whileexp_decay_avg_of_squared_steps_i是所i计算的所有步骤的t-1第平方平方分量的指数衰减平均值（直到第-步）。
sqrt(exp_decay_avg_of_squared_steps_i + epsilon)与动量有些相似，并且根据论文，它“充当加速项”。（该文件还提供了添加该文件的另一个原因，但是我的回答已经太长了，因此，如果您好奇，请参阅第3.2节。）
亚当
（主要基于亚当论文的原始资料：《亚当：随机优化方法》。）
Adam是“自适应矩估计”的缩写（有关该名称的说明，请参见此答案）。第-步
的i-th分量由下式t给出：
learning_rate
- ------------------------------------------------ * exp_decay_avg_of_grads_i
sqrt(exp_decay_avg_of_squared_grads_i) + epsilon
而：
exp_decay_avg_of_grads_i是所i计算的所有梯度（包括gradient_i_t）的-th分量的指数衰减平均值。- 其实，无论是
exp_decay_avg_of_grads_i和exp_decay_avg_of_squared_grads_i也被修正，以考虑向偏置0（更多有关，请参阅第3节的文件，并且还以stats.stackexchange答案）。
请注意，Adam使用i梯度的-th分量的指数衰减平均值，而大多数SGD方法使用i当前梯度的-th分量。正如由两个时标更新规则训练到的GAN收敛到局部Nash平衡中所述，这导致Adam表现得像“有摩擦的沉重球” 。
有关亚当的动量行为与通常的动量行为如何不同的更多信息，请参见此答案。
