关于Armijo规则的困惑

我对行搜索中使用的Armijo规则感到困惑。我正在阅读回溯追踪线搜索，但没有得到Armijo规则的全部内容。谁能详细说明Armijo规则是什么？维基百科似乎解释得不好。谢谢

optimization

— 用户名
source

如果在方程式中变量x不是向量而是矩阵，该怎么办？Armijo规则应如何更新？

— Frank Puk

没有什么变化。您应该将

矩阵简单地整形为（列）向量

。

X_{k}

$X_k$

x_{k}

$x_k$

— GoHokies

那就是我被困住的地方。当

成为矩阵，在左手侧上的值（

）仍是一个标量。但在右手侧的值不为-相反，它是一个矩阵（

是一个标量和

是矩阵。）

x_{k}

$x_k$

f (x_{k} + α p_{k})

$f(x_k+\alpha p_k)$

f (x_{k})

$f(x_k)$

β α \nabla f (x_{k})^{T} p_{k}

$\beta\alpha∇f(x_k)^Tp_k$

— 弗兰克北辰

您将需要使用向量，而不是矩阵。因此，您可以将

个控制变量矩阵（我用

表示）重塑为具有

元素的向量

。搜索方向和梯度也将是具有

元素的向量。这样，Armijo条件的RHS和LHS都是标量，可以进行比较。

N \times N

$N \times N$

X_{k}

$X_k$

x_{k}

$x_k$

N^{2}

$N^2$

N^{2}

$N^2$

— GoHokies

Answers:

$p$ $f(x)$

$f$

f (x_{k} + α p_{k}) \leq f (x_{k}) + β α \nabla f (x_{k})^{T} p_{k}

$f(x_k+\alpha p_k)\leq f(x_k)+\beta\alpha\nabla f(x_k)^Tp_k$

p_{k}

$p_k$

x_{k}

$x_k$

β \in (0, 1)

$\beta\in(0,1)$

$f(x_k+\alpha p_k)$ $x_k$ $p_k$

— 保罗
source

β

$\beta$

α

$\alpha$

这一点很重要的原因，即为什么需要“好的”步骤，是因为许多优化方案的收敛速度会较慢，如Paul所说，或者可能根本不会收敛。因此，可以使用行搜索（有几种变体，Armijo才是最流行的搜索）来为算法提供更强大的收敛性。

— cjordan1

保罗：您的解释不完整。单单这种不平等并不能保证“足够的”减少。实际上，您可以使alpha = 0，并且仍然满足您编写的不等式。Armijo规则的一个重要功能是将步长大小限制为零，这是由另一个不等式完成的：f（gamma * x_new）-f（x_old）> beta *（gamma * x_new-x_old）^ T * grad（f （x_old））

f (x) = x^{2}

$f(x) = x^2$

x_{k} = - 1

$x_k = -1$

p_{k} = - 2

$p_k = -2$

α

$\alpha$

f (x_{k} + α p_{k})

$f(x_k + \alpha p_k)$

α = 1 / 2

$\alpha = 1/2$

β > 1 / 2

$\beta > 1/2$

f (x_{k} + 1 / 2 p_{k}) = 0 > 1 - 2 β = f (x_{k}) + β α f^{'} (x_{k}) p_{k}

$f(x_k + 1/2 p_k) = 0 > 1 - 2 \beta = f(x_k) + \beta \alpha f'(x_k) p_k$

β

$\beta$

β > 1 / 2

$\beta > 1/2$

β = 10^{- 4}

$\beta = 10^{-4}$

β

$\beta$

五年后，这个问题仍然有效。

在这里（第16和17页），您可以找到很好的解释，包括算法。

— 博扬·赫恩卡斯（Bojan Hrnkas）
source