众所周知，一些优化问题等同于时间步长吗？

给定所需的状态和正则化参数，请考虑以下问题：找到状态和控件以最小化功能 受约束 \ begin {equation} Ay = u。\ end {equation} 在这里，为简单起见，我们可以考虑y，y_0，u \ in \ mathbb R ^ n和A \ in \ mathbb R ^ {n \ times n}。$y_0$$\beta \in \mathbb R$$y$$u$

$$\begin{equation} \frac{1}{2} \| y - y_0 \|^2 + \frac{\beta}{2} \| u \|^2 \end{equation}$$ $$\begin{equation} Ay = u. \end{equation}$$ $y, y_0, u \in \mathbb R^n$$A \in \mathbb R^{n \times n}$

形成拉格朗日算子，寻找固定点并消除控制$u$我们得到了一阶条件 \ begin {align *} A ^ T \ lambda＆= y_0-y \\ Ay＆= \ frac {1} {\ beta } \ lambda \ end {align *}在第一个方程式中

$$\begin{align*} A^T \lambda &= y_0 - y \\ Ay &= \frac{1}{\beta} \lambda \end{align*}$$ 乘以$A$，在第二个方程式中乘以A $A^T$，我们可以写出正常方程式 $$\begin{align} (I + \beta A A^T) \lambda &= \beta A y_0 \\ (I + \beta A^T A) y &= y_0 \end{align}$$ 我们可以将它们解释为微分方程\ begin {align} \ frac {\ partial \ lambda}的反向欧拉逼近的单步 $$\begin{align} \frac{\partial \lambda}{\partial b} &= -A A^T \lambda + A y_0, \quad \lambda(0) = 0 \\ \frac{\partial y}{\partial b} &= -A^T A y, \quad y(0) = y_0 \end{align}$$ 与伪timestep $\beta$。

我的问题：这种联系众所周知吗？是否在时间步长或优化的标准方法中进行了讨论？（对我来说，它们之间似乎提供了某种直观的联系。）

这个主意似乎很简单，必须要广为人知，但无论是搜索文献还是与人们交谈都没有给我提供很好的讨论源。我发现的最接近的是O. Scherzer和J.Weichert的论文（J. Math Imaging Vision 12（2000）第43-63页），其中在摘要的第一句（！）中指出了这种联系，但没有提供任何参考或深入探讨连接。

理想情况下，我正在寻找一种不仅说明连接而且还探讨了一些后果的参考文献（例如，可以想象使用便宜的前向Euler步骤预处理优化问题）。

正如Jed Brown提到的那样，非线性优化中的梯度下降与动力系统的时间步长之间的联系会以一定的频率重新发现（可以理解，因为它连接了两个看似不同的领域，因此对数学思维的连接非常令人满意）。但是，它很少成为有用的连接，尤其是在您描述的上下文中。

在反问题中，人们对解决（不适定）算子方程且不在范围内感兴趣。（您的最佳控制问题可以看作是且一个实例。）几种正则化策略（例如Tikhonov或Landweber）可以解释为单个伪时间某类的步骤。然后，想法是使用正则化参数的解释作为步长，以获取该参数的一些（自适应，后验）选择规则-反问题中的基本问题-并可能进行多个伪时间步长寻求真正的，非正规的解决方案（类似于ý δ ˚F ˚F = 甲- 1个 Ÿ δ = ÿ $F(u)=y^\delta$$y^\delta$$F$$F=A^{-1}$$y^\delta = y_0$数值延续）。有时称为连续正则化，通常在级别集方法的上下文中进行讨论。参见，例如Kaltenbacher，Szerzer，Neubauer的6.1章：非线性不适定问题的迭代正则化方法（de Gruyter，2008年）。

这个想法反复出现的第二种情况是非线性优化：如果您查看的梯度下降步骤，则 那么您可以将其解释为动力学系统的向前欧拉步骤 正如Jed Brown指出的，乍一看，只要伪时间步长足够小，这种方法收敛就不会产生非常令人惊讶的观察结果。有趣的部分是当您查看动力学系统并问自己时，所谓的梯度流的连续解具有什么性质X ķ + 1 = X ķ - γ ķ ∇ ˚F （X ķ）$\min_x f(x)$

$$x^{k+1} = x^k - \gamma_k \nabla f(x^k),$$ $$\dot x(t) = -\nabla f(x(t)),\qquad x(0) = x^0.$$ $\gamma_k$$x(t)$是否具有（或应该具有），与梯度下降无关，是否与标准的Euler相比，是否可能导致更合适的时间步进（并因此优化）方法。我脑海中浮现出一些例子：

1. 梯度流在其中存在自然功能空间吗？如果是这样，则应从相同的空间进行渐变（即离散化应符合要求）。例如，这导致针对不同的内积计算梯度的Riesz表示形式（有时称为Sobolev梯度），并且在实践中导致收敛更快的预处理迭代。

2. 也许不应该属于向量空间，而应该属于流形（例如，对称正定矩阵），或者梯度流应该守恒的某个范数。在这种情况下，您可以尝试应用保留结构的时间步长方案（例如，涉及对适当的李群或几何积分器的拉回）。$x$$x$

3. 如果不可微但是凸的，则正向Euler步骤对应于次梯度下降方法，由于步长限制，该方法可能非常慢。另一方面，隐式欧拉步骤对应于近端方法，该方法不适用此类限制（因此在例如图像处理中变得非常流行）。$f$

4. 同样，通过外推步骤可以大大加速此类方法。激发这些效应的一种方法是观察标准的一阶方法，因为梯度方向会“振荡”（必须考虑标准图解，以了解共轭梯度为何胜过最陡的下降），因此不得不在极小值附近做许多小步骤。为了解决这个问题，可以通过不求解一阶动力学系统，而是求解阻尼的二阶系统来“抑制”迭代： 适当选择的。通过适当的离散化，这会导致以下形式的迭代（称为Polyak的重球法）

   $$a_1 \ddot x(t) + a_2 \dot x(t) = -\nabla f(x(t))$$ $a_1,a_2$ $$x^{k+1} = x^k - \gamma_k \nabla f(x^k) + \alpha_k (x^k - x^{k-1})$$ （其中取决于）。对于近端点方法存在类似的想法，例如参见Dirk Lorenz和Thomas Pock 的论文http://arxiv.org/pdf/1403.3522.pdf。$\gamma_k,\alpha_k$$a_1,a_2$

---

（我应该补充一点，据我所知，在大多数情况下，对于动力学算法的推导或收敛证明，并非严格将其解释为动力系统；有人可能会争辩说，诸如“隐式vs.显式”或Lie导数之类的想法。实际上比动力系统或梯度下降方法更基础。但是，从另一个角度来看问题也没有关系。）

---

编辑：从第二个上下文中我偶然发现了一个很好的例子，其中ODE解释用于推导Nesterov的过梯度方法的属性并提出改进建议：http : //arxiv.org/pdf/1503.01243.pdf （请注意，这也是杰德·布朗（Jed Brown）观点的一个例子，作者基本上没有发现Polyak的算法就重新发现了上面的点4。）

编辑2：作为指示，您可以采取多远的措施，请参阅http://arxiv.org/pdf/1509.03616v1.pdf的第5页。

虽然我还没有看到您在这里写下的确切公式，但我一直在看到人们在“重新发现”与集成某些瞬态系统的联系，并继续写下一种代数等效于一种形式或现有梯度下降法或类似牛顿法的另一种方法，但没有引用其他任何方法。我认为这不是很有用，因为结论基本上是“只要采取足够小的步骤，该方法最终就会收敛到局部最小值”。好吧，2014年是菲利普·沃尔夫（Philip Wolfe）展示其以有原则的方式做到这一点的论文45周年。还有一个很好的理论，可以从伪瞬态连续和诸如Levenberg-Marquardt之类的相关方法中获得q二次或q超线性收敛。

如果您想使用类似牛顿的公式来解决这个重新发现的实例，以解决来自数学家的600多篇论文的代数方程（即经典伪瞬态连续）（因此，他可能会证明您发现的事情很有趣），请查看“动力学系统方法”，作者：AG Ramm [1]。

如果通过考虑瞬态系统而获得的直觉导致实用的算法更快或更可靠，那么我认为我们会看到有关该主题的高篇文章。我认为Nocedal和Wright的引用次数超过13000，而Ramm的书中有80左右（主要是自我引用），这并不奇怪。

[1]我可以建议您不要告诉Ramm教授，他的DSM在代数上等同于数十年来无数工程软件包中的内容，否则您可能会大喊大叫。#gradstudent记忆

如果ODE方法可以帮助优化，是否有一个非常简单的示例问题来说明这一点？
一个稻草人：是否有一个ODE求解器在 或基督教克拉森表明 为说Rosenbrock函数，在二维或10d中？如果这很愚蠢，那么有人能做得更好吗？ （注意“合理”，而不是“与最先进的优化器竞争”。我认为人们需要减小步长/容差，也许还需要一个刚性的求解器。）
$\qquad \dot{ x } = - \nabla f( x )$
$\quad \ddot{ x } = \beta \dot{ x } - \alpha \nabla f( x ) \ \ $
$f$

在实践中，“太大”的步骤比“太大”的步骤要麻烦得多-振荡是混乱的。
我曾经天真地认为控制理论会有所帮助。数字食谱p。915描述 了ODE的
PI自适应步长控制，但是我不知道这是否在实践中使用。