为什么我们不使用非恒定学习率来实现除神经网络以外的其他事物的梯度体面？

在梯度下降中使用非恒定的学习率，深度学习文学充满了巧妙的技巧。像指数衰减，RMSprop，Adagrad等之类的东西很容易实现，并且在每个深度学习包中都可用，但是在神经网络之外似乎并不存在。有什么理由吗？如果只是人们根本不在乎，是否有理由为什么我们不必在神经网络之外关心？

免责声明：我在神经网络之外的优化方面没有太多经验，因此我的回答将明显有偏见，但有几项重要的作用：

• （深度）神经网络具有很多参数。这有几个含义：

  首先，它仅仅因为计算Hessian和高阶导数变得不可行而排除了高阶方法。在其他领域，这可能是比SGD的任何调整更好的有效方法。

  其次，尽管SGD很棒，但它往往会变得不切实际地缓慢。这些改进的SGD变体主要实现了更快的训练，同时有可能失去SGD的某些优良特性。在其他领域，SGD培训时间可能不是瓶颈，因此通过加快培训速度而获得的改进可能只是微不足道的。

• 训练（深度）神经网络是非凸优化的，并且我不知道该领域的显着凸松弛结果。与其他领域不同，神经网络并未将重点放在可证明的全局最优解上，这导致需要投入更多的精力来改进损耗表面的特性及其在优化过程中的遍历。

  在其他领域，采用凸松弛和获得全局最优解可能会成为关注的焦点，而不是优化算法，因为一旦将问题定义为凸问题，优化算法的选择就无法提高解的质量。 。

我想这个答案并不涵盖所有可能的方面，而且我自己也对其他观点感到好奇。