BFGS更新的直观动机

我正在教一个数值分析调查课，并且正在为背景/直觉有限的学生寻求BFGS方法的动力！

Ĵ ķ（→ X ķ - → X ķ - 1）= ˚F （→ X ķ）- ˚F （→ X ķ - 1$\|J_k-J_{k-1}\|^2_{\textrm{Fro}}$$J_k(\vec x_k-\vec x_{k-1})=f(\vec x_k)-f(\vec x_{k-1})$

BFGS更新的派生似乎更加复杂和模糊！特别是，我不想先验地认为更新应为等级2或采用特定形式。BFGS Hessian更新是否像Broyden的更新一样具有短暂的变化动机？

当人们（严格地）考虑凸成本函数时，BFGS的推导更加直观：

但是，一些 背景 信息是必需的：假设，要最小化凸函数 假设有一个近似解x_k。然后，一个近似于最小的˚F由最小截短泰勒展开的 F（X_K + P）\约F（X_K）+ \ nabla F（X_K）^ TP + \压裂{1} {2} p ^ TH（ x_k）p。\ quad（*） 就是说，寻找p使得（*）最小并设置x_ {k + 1}：= x_k + p。计算（*）的梯度-“相对于p ”-并将其设置为零可得出以下关系： X ķ ˚F ˚F （X ķ + p ）≈ ˚F （X ķ）+ ∇ ˚F （X ķ ）Ť p +

$$f(x) \to \min_{x\in \mathbb R^n}.$$ $x_k$$f$p （* ）X ķ + 1：= X ķ + p （* ）p ħ （X ķ）[ X ķ + 1 - X ķ ] = ∇ ˚F （X ķ + 1）- ∇ ˚F （X ķ） $$f(x_k+p) \approx f(x_k) +\nabla f(x_k)^Tp + \frac{1}{2}p^T H(x_k)p. \quad(*)$$ $p$$(*)$$x_{k+1} := x_k + p$$(*)$$p$ $$H(x_k)[x_{k+1} - x_k] = \nabla f(x_{k+1}) - \nabla f(x_k),$$ 其中$H$是“梯度的雅可比”或黑森矩阵。

由于Hessian的计算和反演费用很高...

---

... 一个简短的答案

（参见Broyden的更新）可能是BFGS更新H_ {k + 1} ^ {-1} 在 明智选择的加权Frobenius范数中$H_{k+1}^{-1}$最小化了

$$\|H_k^{-1} - H^{-1}\|_W$$ ，服从

1. $H[x_{k+1} - x_k] = \nabla f(x_{k+1}) - \nabla f(x_k)$ -这就是为什么-
2. $H^T = H$，因为黑森州是对称的。

---

然后，权重的选择在作为逆平均海森，请参阅。此处为该语句但没有证明，给出了BFGS更新公式（）。$W$$\|H\|_W := \|W^{1/2}HW^{1/2}\|_F$ $G:=\int_0^1 H(x_k + \tau p) d\tau$$\alpha_k = 1$

要点是：

• 人们试图通过二次近似的解来逼近实际成本的解。
• Hessian及其逆的计算非常昂贵。一个人喜欢简单的更新。
• 更新选择最适合于逆而不是实际的Hessian。
• 这是2级更新，是Frobenius规范中权重的特定选择的结果。

一个较长的答案，应该包括如何选择权，如何使这项工作非凸问题（其中曲率的条件出现，需要寻找方向的缩放），以及如何导出实际公式进行更新。参考在这里（德语）。$p$