了解pde约束优化的伴随方法的成本

11

我正在尝试了解基于伴随的优化方法如何用于PDE约束优化。特别是，我试图理解为什么伴随方法对于设计变量数量大而“方程式数量小”的问题更有效。

我的理解：

请考虑以下PDE约束优化问题：

min_{β} I (β, u (β)) s . t . R (u (β)) = 0

$\min_\beta \text{ } I(\beta,u(\beta))\\ s.t. R(u(\beta))=0$

其中是向量设计变量和取决于设计变量的场变量未知数的向量的（足够连续的）目标函数，而是PDE的残差形式。 $I$ $\beta$ $u(\beta)$ $R(u)$

显然，我们可以将I和R的第一个变体设为

δ 一世 = \frac{\partial 一世}{\partial β} δ β + \frac{\partial 一世}{\partial ü} δ ü

$\delta I = \frac{\partial I}{\partial \beta}\delta\beta + \frac{\partial I}{\partial u}\delta u$

δ [R = \frac{\partial [R}{\partial β} δ β + \frac{\partial [R}{\partial ü} δ ü = 0

$\delta R = \frac{\partial R}{\partial \beta}\delta\beta + \frac{\partial R}{\partial u}\delta u = 0$

引入拉格朗日乘数的向量，目标函数的变化可以写成 $\lambda$

δ 一世 = \frac{\partial 一世}{\partial β} δ β + \frac{\partial 一世}{\partial ü} δ ü + λ^{Ť} [\frac{\partial [R}{\partial β} δ β + \frac{\partial [R}{\partial ü} δ ü]

$\delta I = \frac{\partial I}{\partial \beta}\delta\beta + \frac{\partial I}{\partial u}\delta u + \lambda^T\left[ \frac{\partial R}{\partial \beta}\delta\beta + \frac{\partial R}{\partial u}\delta u\right]$

重新排列术语，我们可以这样写：

δ 一世 = [\frac{\partial 一世}{\partial β} + λ^{Ť} \frac{\partial [R}{\partial β}] δ β + [\frac{\partial 一世}{\partial ü} + λ^{Ť} \frac{\partial [R}{\partial ü}] δ ü

$\delta I = \left[\frac{\partial I}{\partial \beta} + \lambda^T\frac{\partial R}{\partial \beta}\right]\delta\beta + \left[\frac{\partial I}{\partial u} + \lambda^T\frac{\partial R}{\partial u}\right]\delta u$

因此，如果我们能够解决，使得 $\lambda$

\frac{\partial 一世}{\partial ü} + λ^{Ť} \frac{\partial [R}{\partial ü} = 0 （伴随方程式）

$\frac{\partial I}{\partial u} + \lambda^T\frac{\partial R}{\partial u}=0 \text{ (adjoint equation)}$

然后梯度仅在设计变量方面被评估。 $\delta I= \left[\frac{\partial I}{\partial \beta} + \lambda^T\frac{\partial R}{\partial \beta}\right]\delta \beta$ $\beta$

因此，基于伴随的优化算法将遍历以下步骤：

给定当前设计变量 $\beta$
解决字段变量（来自PDE） $u$
求解拉格朗日乘数（从伴随方程式中） $\lambda$
计算梯度 $\frac{\partial I}{\partial \beta}$
更新设计变量 $\beta$

我的问题

在设计变量数量很大的情况下，这种伴随的“技巧”如何提高每次迭代的优化成本？我听说伴随方法的梯度评估成本与设计变量的数量“无关”。但是这到底是真的吗？

我敢肯定，有些东西很明显地被我忽略了。

optimization pde

— 保罗
source

3

顺便说一句，拉格朗日乘数通常加到目标函数上，而不是变数上。因此

。将关于

的导数设置为零将产生伴随方程，并将其（以及状态方程

的解

）插入到关于

的导数中

min_{u, β} max_{λ} I (u, β) + λ^{T} R (u, β)

$\min_{u,\beta}\max_\lambda I(u,\beta) + \lambda^T R(u,\beta)$

u

$u$

u

$u$

R (u, β) = 0

$R(u,\beta)=0$

β

$\beta$ 产生渐变。如果从PDE的弱公式开始，事情会变得更加简单：只需插入Lagrange乘数来代替测试函数。在任何地方都不需要强大的形式或部分集成。

— 克里斯蒂安·克拉森2014年

1

任何模拟中最昂贵的部分是求解阶段。通过使用伴随，您可以得到两个解的梯度，与有限差分相比，该梯度要便宜得多，有限差分至少需要n + 1个解，n是模型中自由参数的数量。

— stali 2014年

10

在设计变量数量很大的情况下，这种伴随的“技巧”如何提高每次迭代的优化成本？

我从线性代数的角度考虑成本。（请参阅Stephen G. Johnson的这些注释，我发现这些注释比Lagrange乘数方法更直观）。向前的方法等于直接解决敏感性问题：

\begin{aligned} \frac{\partial ü}{\partial β} = - {（ \frac{\partial [R}{\partial ü} ）}^{- 1个} \frac{\partial [R}{\partial β} \end{aligned}

$\begin{align} \frac{\partial{u}}{\partial{\beta}} = -\left(\frac{\partial{R}}{\partial{u}}\right)^{-1}\frac{\partial{R}}{\partial{\beta}} \end{align}$

这涉及为向量中的每个参数求解线性系统，然后求值 $\beta$

\begin{aligned} \frac{d 一世}{d β} = \frac{\partial 一世}{\partial β} + \frac{\partial 一世}{\partial ü} \frac{\partial ü}{\partial β} ， \end{aligned}

$\begin{align} \frac{\mathrm{d}I}{\mathrm{d}\beta} = \frac{\partial{I}}{\partial{\beta}} + \frac{\partial{I}}{\partial{u}}\frac{\partial{u}}{\partial{\beta}}, \end{align}$

其中表示总导数，表示偏导数。 $\mathrm{d}$ $\partial$

伴随方法指出

\begin{aligned} \frac{d 一世}{d β} = \frac{\partial 一世}{\partial β} - \frac{\partial 一世}{\partial ü} {（ \frac{\partial [R}{\partial ü} ）}^{- 1个} \frac{\partial [R}{\partial β} ， \end{aligned}

$\begin{align} \frac{\mathrm{d}I}{\mathrm{d}\beta} = \frac{\partial{I}}{\partial{\beta}} - \frac{\partial{I}}{\partial{u}}\left(\frac{\partial{R}}{\partial{u}}\right)^{-1}\frac{\partial{R}}{\partial{\beta}}, \end{align}$

因此，伴随变量（拉格朗日乘数）可以定义为 $\lambda$

\begin{aligned} - \frac{\partial 一世}{\partial ü} {（ \frac{\partial [R}{\partial ü} ）}^{- 1个} = λ^{Ť} ， \end{aligned}

$\begin{align} -\frac{\partial{I}}{\partial{u}}\left(\frac{\partial{R}}{\partial{u}}\right)^{-1} = \lambda^{T}, \end{align}$

对应于伴随方程

\begin{aligned} \frac{\partial 一世}{\partial ü} + λ^{Ť} \frac{\partial [R}{\partial ü} = 0。 \end{aligned}

$\begin{align} \frac{\partial{I}}{\partial{u}} + \lambda^{T}\frac{\partial{R}}{\partial{u}} = 0. \end{align}$

项的这种重新组合仅需要一个线性解，而不是每个参数的线性解，这使得在多参数情况下，伴随评估便宜。

我听说伴随方法的梯度评估成本与设计变量的数量“无关”。但是这到底是真的吗？

它不是完全独立的。据推测评估的成本和将与参数的数量增加。但是，只要的大小不变，线性解的大小仍将相同。假设解决方案比功能评估要昂贵得多。 $(\partial{I}/\partial{\beta})$ $(\partial{R}/\partial{\beta})$ $u$

— 杰夫·奥克斯伯里
source

8

简而言之，优点来自以下事实：要计算简化目标的导数，您实际上并不需要知道关于作为独立对象的的导数。，但只有导致变化的那部分 $I(\beta,u(\beta))$ $u(\beta)$ $\beta$ $I(\beta,u(\beta))$ 。

让我切换到一个我更喜欢的符号：（是设计变量，是状态变量，是目标）。假设足以应用隐函数定理，因此方程具有唯一解，该解关于和导数可以连续微分。

\underset{ÿ ， ü}{分} Ĵ （ ÿ ， ü ） 服从 Ë （ ÿ ， ü ） = 0

$\min_{y,u} J(y,u) \quad\text{subject to}\quad e(y,u)=0$

u

$u$

y

$y$

J

$J$

e (y, u)

$e(y,u)$

e (y, u) = 0

$e(y,u)=0$

y (u)

$y(u)$

u

$u$

y^{'} (u)

$y'(u)$ 由

（

和

\begin{matrix} （1） & Ë_{ÿ} （ ÿ （ ü ） ， ü ） ÿ^{'} （ ü ） + Ë_{ü} （ ÿ （ ü ） ， ü ） = 0 \end{matrix}

$e_y(y(u),u)y'(u) + e_u(y(u),u) = 0\tag{1}$

e_{y}

$e_y$

e_{u}

$e_u$ 是偏导数）的解给出。

这意味着您可以定义精简目标，这也是可微的（如果是可微的）。表征梯度单程是经由定向衍生物（例如，计算所有相对于偏导数的设计空间的基础上）。在此，方向的方向导数由链规则给出为 $j(u):=J(y(u),u)$ $J(y,u)$ $\nabla j(u)$ $h$ 如果是好的，唯一困难的事情是计算对于给定的。这可以通过相乘来进行与从右侧和求解（其隐函数定理允许），即，计算

\begin{matrix} （2） & Ĵ^{'} （ ü; H ） = ⟨ Ĵ_{ÿ} （ ÿ （ ü ） ， ü ） ， ÿ^{'} （ ü ） H ⟩ + ⟨ Ĵ_{ü} （ ÿ （ ü ） ， ü ） ， H ⟩ 。 \end{matrix}

$j'(u;h) = \langle J_y(y(u),u),y'(u)h \rangle + \langle J_u(y(u),u),h\rangle.\tag{2}$

J

$J$

y^{'} (u) h

$y'(u)h$

h

$h$

(1)

$(1)$

h

$h$

y^{'} (u) h

$y'(u)h$

并将此表达式插入

。在PDE约束的优化中，这等于求解线性化的PDE

\begin{matrix} （3） & [ÿ^{'} （ ü ） H] = Ë_{ÿ} （ ÿ （ ü ） ， ü ）^{- 1个} [Ë_{ü} （ ÿ （ ü ） ， ü ） H] \end{matrix}

$[y'(u)h] = e_y(y(u),u)^{-1} [e_u(y(u),u)h]\tag{3}$

(2)

$(2)$ 设计空间的每个基向量

。

h

$h$

但是，如果我们发现运营商使得 $\nabla j$ 这必须是所需的梯度。综观，我们可以写出（与

Ĵ^{'} （ ü; H ） = ⟨ \nabla Ĵ ， H ⟩ 对全部 H ，

$j'(u;h) = \langle \nabla j,h\rangle\qquad \text{for all }h,$

(1)

$(1)$

⟨ Ĵ_{ÿ} （ ÿ （ ü ） ， ü ） ， ÿ^{'} （ ü ） H ⟩ = ⟨ ÿ^{'} （ ü ）^{*} Ĵ_{ÿ} （ ÿ （ ü ） ， ü ） ， H ⟩

$\langle J_y(y(u),u),y'(u)h \rangle = \langle y'(u)^*J_y(y(u),u),h \rangle$

y^{'} (u)^{*}

$y'(u)^*$ 是伴随运算符），因此我们只需计算

。使用

，可以使用

来完成，即计算

y^{'} (u)^{*} j_{y} (y (u), u)

$y'(u)^*j_y(y(u),u)$

(A B)^{*} = B^{*} A^{*}

$(AB)^* = B^* A^*$

(3)

$(3)$

单一和设置

在PDE约束优化中，

通常是某种残差，计算

涉及求解

λ ：= Ë_{ÿ} （ ÿ （ ü ） ， ü ）^{- *} Ĵ_{ÿ} （ ÿ （ ü ） ， ü ）

$\lambda:= e_y(y(u),u)^{-*}J_y(y(u),u)$

\nabla Ĵ （ ü ） = Ë_{ü} （ ÿ （ ü ） ， ü ）^{*} λ + Ĵ_{ü} （ ÿ （ ü ） ， ü ） 。

$\nabla j(u) = e_u(y(u),u)^*\lambda +J_u(y(u),u).$

J_{y} (y (u), u)

$J_y(y(u),u)$

λ

$\lambda$ （线性）伴随PDE，与设计空间的尺寸无关。（实际上，这甚至适用于分布式参数，即，如果

是某个无限维Banach空间中的函数，则第一种方法不可行。）

u

$u$

— 克里斯蒂安·克拉森
source