确定线性回归中梯度下降的最佳学习率

如何确定梯度下降的最佳学习率？我在想，如果成本函数返回的值比上一次迭代的值大（算法不会收敛），我可以自动调整它，但是我不确定是否应该采用新值。

（几年后）查找Barzilai-Borwein步长法； onmyphd.com有一个漂亮的3页描述。作者说

即使对于大尺寸问题，这种方法也能很好地工作

但是对于他的2d Rosenbrock函数小程序来说，这很糟糕。如果有人使用Barzilai-Borwein，请发表评论。

您走在正确的轨道上。一种常见的方法是，每当您成功执行下坡步骤时，将步长加倍，而当您意外地走得“太远”时，将步长减半。当然，您可以按2以外的其他比例进行缩放，但通常不会产生太大的变化。

更复杂的优化方法可能会大大加快收敛速度​​，但是如果由于某种原因而不得不滚动自己的更新，则上述内容非常简单，通常就足够好了。