如何（系统地）使用梯度下降作为优化器来调整学习率？

ML / DL领域的局外人；开始了基于Tensorflow的Udacity深度学习课程；做作业3的问题4; 尝试使用以下配置调整学习率：

• 批次大小128
• 步骤数：足以填满2个纪元
• 隐藏层的大小：1024、305、75
• 重量初始化：使用std正常截断。sqrt（2 / n）的偏差，其中n是上一层的大小
• 失学保持机率：0.75
• 正则化：不适用
• 学习率算法：指数衰减

玩弄学习率参数；在大多数情况下，它们似乎没有作用；在这里编码 ; 结果：

Accuracy    learning_rate   decay_steps     decay_rate      staircase
93.7        .1              3000            .96             True
94.0        .3              3000            .86             False
94.0        .3              3000            .96             False
94.0        .3              3000            .96             True
94.0        .5              3000            .96             True

• 我应该如何系统地调整学习率？
• 学习率与步数有何关系？

使用梯度下降优化器。这是一个很好的概述。

关于代码，请看一下本教程。这和这是一些例子。

我个人建议使用ADAM或RMSprop。仍然需要设置一些超参数，但是有些“标准”参数可以在99％的时间内工作。对于ADAM，您可以在此幻灯片中查看其论文和RMSprop 。

编辑

好的，您已经使用了梯度优化器。然后，您可以执行一些超参数优化来选择最佳学习率。最近，已经提出了一种自动方法。同样，Frank Hutter在自动超参数调整方面有很多有希望的工作。

通常，请看一下AutoML Challenge，您还可以在这里找到团队的源代码。在这一挑战中，目标是使机器学习自动化，包括超参数调整。

最后，LeCun的本文和DeepMin的最新教程（请参见第8章）提供了一些见解，这些见解可能对您的问题有用。

无论如何，请记住（特别是对于简单的问题），使用梯度下降优化器时学习率对学习的影响不大是正常的。通常，这些优化器非常可靠，并且可以使用不同的参数。

您可以自己在许多机器学习算法中自动调整超参数，也可以仅对Gradient Descent优化器的超参数（即学习率）进行自动调整。

留兰香是为此流行的一种图书馆。

https://github.com/JasperSnoek/spearmint

带有超梯度下降的在线学习速率调整中提供了一种最新的自动学习速率调谐器

此方法非常易于实现，SGD的核心结果为：

$\alpha_{t} = \alpha_{t-1} + \beta \nabla f(\theta_{t-1})^T\nabla f(\theta_{t-2})$

其中是一个（超）超参数。该方法还适用于其他基于梯度的更新（基于动量的方法）。无需验证集：它只需要存储先前的渐变。这个想法是使用目标函数的偏导数和学习率（）来得出alpha的更新规则。例如 ∇ ˚F （θ 吨- 2）$\beta$$\textit{e.g.}$$\nabla f(\theta_{t-2})$$\alpha$

有趣的是，我在现有问题的基础上实现了这一点，并观察到了更好的结果。我没有调整或，而是从本文建议的范围中选择。α $\beta$$\alpha_0$

要调整超参数（无论是学习率，衰减率，正则化还是其他），都需要建立一个保持数据集；该数据集与您的训练数据集不相交。在调整了具有不同配置的多个模型（其中配置=每个超参数的特定选择）后，您可以通过选择一个最大化保持精度的配置来选择配置。