为什么为深度学习的Adam优化器包括偏差校正项很重要？

我正在阅读有关深度学习的Adam优化器的内容，并在Begnio，Goodfellow和Courtville撰写的新书Deep Learning中遇到了以下句子：

亚当包括对一阶矩（动量项）和（无心）二阶矩的估计值的偏差校正，以说明它们在原点处的初始化。

似乎包含这些偏差校正项的主要原因是，它以某种方式消除了和的初始化偏差。$m_t = 0$$v_t = 0$

• 我不是100％知道这是什么意思，但在我看来，这很可能意味着第一和第二时刻从零开始，并以某种方式从零开始倾斜，以不公平（或有用）的方式使值接近零。 ？
• 虽然我很想知道这意味着什么，以及它如何损害学习。特别是，在优化方面，不偏向优化器有哪些优势？
• 这如何帮助训练深度学习模型？
• 另外，无偏见是什么意思？我很熟悉无偏标准偏差的含义，但是我不清楚在这种情况下这意味着什么。
• 偏差校正真的很重要吗？还是亚当优化器论文过度夸大了它？

就是这样，人们知道我已经非常努力地理解原始论文，但是我从阅读和重新阅读原始论文中受益匪浅。我认为其中一些问题可能会在此处得到解答，但我似乎无法解析答案。

根据论文无法纠正偏差的问题

在梯度稀疏的情况下，为了可靠地估计第二矩，需要通过选择较小的β2值来平均许多梯度。然而，正是这种小β2的情况，缺乏初始化偏差校正会导致初始步长大得多。

通常在实践中，设置为比更接近1 （正如作者建议的，），因此更新系数远小于。$\beta_2$$\beta_1$$\beta_2=0.999$$\beta_1=0.9$$1-\beta_2=0.001$$1-\beta_1=0.1$

在训练，，如果直接使用偏差估计，则参数更新中的项可能会非常大。$m_1=0.1g_t$$v_1=0.001g_t^2$$m_1/(\sqrt{v_1}+\epsilon)$

另一方面，当使用偏差校正的估算值和，字词对和变得不太敏感。$\hat{m_1}=g_1$$\hat{v_1}=g_1^2$$\hat{m_t}/(\sqrt{\hat{v_t}}+\epsilon)$$\beta_1$$\beta_2$

如何校正偏差
该算法使用移动平均线估计第一和第二时刻。有偏估计将是，我们从任意猜测，并逐渐通过更新估计。因此，很明显，在最初的几步中，我们的移动平均值严重偏向初始。$m_0$$m_t=\beta m_{t-1}+(1-\beta)g_t$$m_0$

为了解决这个问题，我们可以从移动平均线中消除初始猜测（偏差）的影响。例如，在时间1，，我们从取出项，然后将其除以，得到。当，。完整的证明在本文的第3节中给出。$m_1=\beta m_0+(1-\beta)g_t$$\beta m_0$$m_1$$(1-\beta)$$\hat{m_1}=(m_1- \beta m_0)/(1-\beta)$$m_0=0$$\hat{m_t}=m_t/(1-\beta^t)$

正如Mark L. Stone所说的那样

就像乘以2（哦，我的结果是有偏差的），然后除以2以“校正”它。

以某种方式这并不完全等同于

初始点的梯度用于这些事物的初始值，然后更新第一个参数

（当然，可以通过更改更新规则将其转换为相同的形式（请参见答案的更新），我相信这条线主要旨在表明没有必要引入偏见，但也许值得一提）

例如，时间2的更正的第一时刻

如果使用作为具有相同更新规则的初始值，则 将会在前几个步骤中偏向。$g_1$

偏差校正真的很重要吗？
因为它实际上只影响训练的前几个步骤，所以这似乎不是一个很大的问题，在许多流行的框架（例如keras，caffe）中，仅实施偏差估计。

根据我的经验，有偏差的估计有时会导致不希望的情况，即损失不会减少（我还没有对它进行彻底的测试，所以我不确定这是否是由于有偏差的估计或其他原因造成的），还有一个窍门我使用的是使用更大的来缓和初始步长。$\epsilon$

更新
如果展开递归更新规则，则本质上是渐变的加权平均值， 分母可以通过几何和公式计算，因此等效于以下更新规则（不涉及偏见条件） $\hat{m}_t$

$m_1\leftarrow g_1$
而不收敛时，执行 （加权和） （加权平均值）
$\qquad m_t\leftarrow \beta m_t + g_t$
$\qquad \hat{m}_t\leftarrow \dfrac{(1-\beta)m_t}{1-\beta^t}$

因此，可以在不引入偏差项和对其进行校正的情况下完成此操作。我认为，为了便于与其他算法（例如RmsProp）进行比较，本文以偏差校正形式进行了介绍。