为什么在实践中不使用“无马鞍牛顿”下降算法？

最近，我读了Yann Dauphin等人的论文。识别和解决高维非凸优化中的鞍点问题，他们引入了一种有趣的下降算法，称为“无鞍牛顿”，该算法似乎是专门为神经网络优化设计的，因此不会卡在鞍点上像香草SGD这样的一阶方法。

该论文的历史可以追溯到2014年，因此并不是什么新鲜事物，但是，我还没有看到它被“野外使用”。为什么不使用此方法？对于现实世界中存在的问题/网络，Hessian计算是否过于严格？该算法是否甚至有一些开源实现，可能与某些主要的深度学习框架一起使用？

2019年2月更新：现在有一个实现：https : //github.com/dave-fernandes/SaddleFreeOptimizer）

更好的优化并不一定意味着更好的模型。最后，我们关心的是模型的概括性如何，而不一定是训练集上的表现有多好。更好的优化技术通常在训练集上表现更好且收敛更快，但并不总是像基本算法那样泛化。例如，本文显示SGD可以比ADAM优化器更好地推广。某些二阶优化算法也可能是这种情况。

[编辑]删除了第一点，因为它在这里不适用。感谢bayerj指出这一点。