如果Hessians如此擅长优化（例如参见Newton方法），为什么要停在那里？我们使用三阶，四阶，五阶和六阶导数吗？为什么不？

我将问题解释为“为什么牛顿方法只使用一阶和二阶导数，而不使用三阶或更高阶的导数？”

实际上，在许多情况下，使用三阶导数确实有帮助；我以前用定制的东西做过。但是，总的来说，使用更高的导数会增加计算的复杂性-您必须查找并计算所有这些导数，并且对于多变量问题，与一阶导数相比，三阶导数要多得多！-远远超过您所节省的步数（如果有）。例如，如果我有一个3维问题，则我有3个一阶导数，6个二阶导数和10个三阶导数，因此转到三阶版本时，我要做的求值次数增加了一倍以上（从9到19），更不用说一旦我完成了这些评估，计算步伐方向/尺寸的复杂性就会增加，但是几乎可以肯定不会将我必须采取的步伐减少一半。

现在，在具有变量的一般情况下，n t h个偏导数的集合将为，因此对于具有五个变量的问题，第三，第四总数，而第五个偏导数将等于231，是第一和第二个偏导数（20）的10倍以上。您将不得不遇到一个非常非常接近变量的五阶多项式的问题，才能看到迭代计数有足够大的减少，以弥补这一额外的计算负担。$k$$n^{th}$${k+n-1} \choose {k-1}$

我真的看不到这个问题的统计方面是什么，因此我将回答优化部分。

有2个部分需要收敛：迭代成本和迭代计数

几乎每个答案都只关注迭代成本，而忽略了迭代次数。但是，两者都很重要。迭代1纳秒但需要次迭代才能收敛的方法对您没有任何好处。而且，无论迭代成本多么便宜，爆炸的方法也无济于事。$10^{20}$

让我们弄清楚发生了什么。

所以：为什么不使用> 2阶导数？

部分原因是（这对于二阶也是正确的，但稍后会更多）：

通常，高阶方法只有在接近最佳值时才会收敛得更快。

另一方面，当它们离最佳值较远时，它们更容易爆炸！

（当然，这并不总是正确的；例如，二次方将通过牛顿方法一步收敛。但是对于现实世界中没有好的属性的任意函数，通常是正确的。）

这意味着，当您距离最优值较远时，通常需要低阶（读：一阶）方法。仅当您关闭时，您才想增加方法的顺序。

那么，为什么当您靠近根部时停在第二阶？

因为“二次”收敛行为确实是“足够好”！

要了解原因，您首先必须了解“二次收敛”的含义。

从数学上来说，二次收敛意味着，如果是迭代k的误差，则对于某些常数c，以下条件最终成立：$\epsilon_k$$k$$c$

$$\lvert\epsilon_{k+1}\rvert \leq c\ \lvert\epsilon_{k}\rvert^2$$

用简单的英语来说，这意味着，一旦您接近最佳值（很重要！），每增加一个步骤，精度位数就会加倍。

为什么？举一个例子很容易看出：对于和| |。ε 1 | = 0.1，您有| ε 2 | ≤ 0.01，| ε 3 | ≤ 0.0001，等等这是可笑的快。（这是超指数的！）$c = 1$$\lvert\epsilon_1\rvert = 0.1$$\lvert\epsilon_2\rvert \leq 0.01$$\lvert\epsilon_3\rvert \leq 0.0001$

为什么不停在一阶而不是二阶呢？

$\epsilon_k = 0.9999999$$\lvert\epsilon\rvert < 0.5$

在这一点上，如果您了解任何计算机科学，您就会了解到通过二阶收敛，问题已经解决了。如果您不明白为什么，那么这就是为什么：每次迭代将位数增加三倍而不是加倍，没有任何实际好处—这将为您带来什么？毕竟，在计算机中，即使- double精度数字也具有52位精度，大约是16位十进制数字。 也许它将所需的步骤数从16个减少到3个...听起来不错，直到您意识到这是以必须在每次迭代中计算三次导数为代价的，这就是维数的诅咒$6$$6$$\approx 5$$6$

但是再次：记住维数的诅咒只是故事的一半。

另一半是，当您离最佳状态很远时，您通常会得到较差的行为，这通常会对您必须执行的迭代次数产生不利影响。

结论

在一般情况下，比2高阶的方法不是一个好主意。当然，如果您可以在表格中添加其他有用的假设（例如，您的数据确实类似于高次多项式，或者您有限制最佳位置的方法，等等），那么也许您会发现它们是一个好主意-但这将是针对特定问题的决定，而不是一般的经验法则。

$$H = \begin{bmatrix} \dfrac{\partial^2 f}{\partial x_1^2} & \dfrac{\partial^2 f}{\partial x_1\,\partial x_2} & \cdots & \dfrac{\partial^2 f}{\partial x_1\,\partial x_n} \\[2.2ex] \dfrac{\partial^2 f}{\partial x_2\,\partial x_1} & \dfrac{\partial^2 f}{\partial x_2^2} & \cdots & \dfrac{\partial^2 f}{\partial x_2\,\partial x_n} \\[2.2ex] \vdots & \vdots & \ddots & \vdots \\[2.2ex] \dfrac{\partial^2 f}{\partial x_n\,\partial x_1} & \dfrac{\partial^2 f}{\partial x_n\,\partial x_2} & \cdots & \dfrac{\partial^2 f}{\partial x_n^2} \end{bmatrix}.$$

$$\partial H/\partial x=\begin{bmatrix} \dfrac{\partial H}{\partial x_1}\\ \dfrac{\partial H}{\partial x_2}\\ \vdots\\ \dfrac{\partial H}{\partial x_n} \end{bmatrix}$$ $$(\partial H/\partial x)_{ijk}=\dfrac{\partial^3 f}{\partial x_i\partial x_j\partial x_k}$$

$$\dfrac{\partial^6 f}{\partial x_i\partial x_j\partial x_k\partial x_l\partial x_m\partial x_n}$$

通常，权衡不利于追求比Hessian高的价格。我的意思是在通过使用高阶近似值获得的潜在速度增益与噪声放大之间进行权衡。由于我们在谈论统计应用程序，因此输入中始终会有噪音。该噪声将被导数放大。

如果您打高尔夫球，那么优化的类比就是先挥杆尝试去果岭，而不用担心一个洞。一次，在果岭上，我们将瞄准一个洞。

通常，当您分析此类算法的有效性时，您会发现诸如四阶算法的一个步骤与二阶算法的两个步骤具有大致相同的有效性这样的结果。

因此，使用哪种算法的选择相对简单：如果四阶算法的一个步骤花费了两倍的工作量，或者比二阶算法的一个步骤花费了更多的时间，则应改用后者。

这就是这类方法的典型情况：经典算法对于一般问题具有最佳的工作效率比。尽管偶尔会出现一些问题，其中高阶方法异常容易计算并且可以胜过经典变量，但相对而言并不常见。

您可以将导数的阶数视为函数的多项式逼近的阶数。大多数优化例程都依赖于凸性。二次多项式在任何地方都是凸/凹的，而三阶或更高阶多项式在任何地方都不是凸的。因此，大多数优化例程都依赖于具有二次函数的凸函数的逐次逼近。凸的二次逼近要求施加正定性条件才能使二次凸。

$\approx dim^3/6$

为什么单向三阶模型可以带来好处？例如，由于在该方向上接近零的二阶导数基本上意味着两种替代方案：平稳或拐点-仅前者需要较大的步长，而三阶导数则可以区分它们。

我相信我们将朝着混合多阶方法：低维子空间中的二阶方法（例如，从最近的梯度的PCA中提取），仍然允许自由的一阶同时梯度下降到与该子空间正交的部分梯度……以及另外我将为单个最相关的方向添加例如三阶模型。