深度学习中是否使用线搜索方法？为什么不？

在线上许多教程都谈论梯度下降，并且几乎所有教程都使用固定步长（学习率）。为什么不使用线搜索（例如回溯线搜索或精确线搜索）？$\alpha$

使用线搜索可以使香草梯度下降更可靠；我已经编写了执行此操作的算法，它使算法非常稳定（尽管不一定很快）。

但是，对随机梯度方法进行线搜索几乎没有任何意义。我之所以这样说，是因为如果我们基于最小化全损失函数来进行线搜索，我们将立即失去进行随机方法的主要动机之一。我们现在需要为每次更新计算全损失函数，通常，其计算成本可与计算全一阶导数相媲美。鉴于我们由于计算成本而希望避免计算完整梯度，因此似乎不太希望我们可以计算完整损失函数。

另外，您可能会考虑根据随机采样的数据点进行行搜索等操作。但是，这也不是一个好主意。这不会告诉您您是否走得太远（这是行搜索的主要好处）。例如，假设您正在执行逻辑回归。然后，每个结果是一个简单的0或1，而对于任何一个样品，我们平凡得到完美的分离，从而为基于1的样品我们的回归参数的最佳解决方案是平凡或∞由豪克唐纳效果。这不好。$-\infty$$\infty$

编辑

@DeltaIV指出，这也适用于微型批处理，而不仅仅是单个样本。

这些教程大概讨论了梯度下降，因为它是用于优化的最简单算法之一，因此很容易解释。由于大多数此类教程都很简短，因此它们只关注简单的内容。除了简单的梯度下降法外，至少还有几种流行的优化算法可用于深度学习。实际上，人们通常使用不同的算法，然后使用梯度下降算法，因为它们通常收敛更快。他们中有些人的学习率不是恒定的（例如，随着时间的推移而下降）。要查看此类算法，您可以查看Sebastian Ruder发表的“梯度下降优化算法概述”（或论文）。