迭代方法在对角占优矩阵上的安全应用

假定以下线性系统为，其中是已知为正定的加权Laplacian ，其一维零空间跨度为，的平移方差，即不会改变函数值（其导数为）。的唯一正项在其对角线上，这是负非对角线项的绝对值的总和。

\begin{matrix} (1) & L x = c, \end{matrix}

$Lx=c,\tag1$

L

$L$

s e m i -

$semi-$

1_{n} = (1, \dots, 1) \in R^{n}

$1_n=(1,\dots,1)\in\mathbb{R}^n$

x \in R^{n}

$x\in\mathbb{R}^{n}$

x + a 1_{n}

$x+a1_n$

(1)

$(1)$

L

$L$

我发现一个高引用率在该领域的学术工作，虽然是对角占优，仍然可以安全使用，如共轭梯度，高斯-塞德尔，雅可比，的方法来解决。的理由是，由于平移不变的，一个是安全的一个固定点（例如，移除第一行和列和从第一个条目），从而转换到一个对角占优矩阵。无论如何，用以的完整形式求解原始系统。 $L$ $not~strictly$ $(1)$ $L$ $c$ $L$ $strictly$ $(1)$ $L\in\mathbb{R}^{n\times n}$

这个假设是正确的吗？如果是，替代的理由是什么？我试图了解方法的收敛性如何。

如果Jacobi方法与收敛，那么关于迭代矩阵的谱半径，在是对角矩阵且对角线中有对角矩阵，有什么状态？是，因此从一般的收敛担保不同的？我问这个，因为的特征值对角线上带有拉普拉斯矩阵应当在范围内。 $(1)$ $\rho$ $D^{-1}(D-L)$ $D$ $L$ $\rho(D^{-1}(D-L)\leq1$ $\rho(D^{-1}(D-L))<1$ $D^{-1}L$ $[0, 2]$

从原始作品来看：

....................................................

在每次迭代中，我们通过求解以下线性系统来计算新的布局（x（t +1），y（t + 1））：在不失一般性的前提下，我们可以固定以下位置之一传感器（利用局部应力的平移自由度）并获得严格对角的主导矩阵。因此，我们可以安全地使用Jacobi迭代来求解（8）

\begin{matrix} (8) & L \cdot x (t + 1) = L (x (t), y (t)) \cdot x (t) L \cdot y (t + 1) = L (x (t), y (t)) \cdot y (t) \end{matrix}

$L · x(t + 1) = L(x(t),y(t)) · x(t) \\ L · y(t + 1) = L(x(t),y(t)) · y(t) \tag 8$

...................................................

在上文中，“迭代”的概念与底层最小化过程有关，不要与Jacobi迭代相混淆。因此，该系统由Jacobi（迭代）求解，然后将该解决方案购买到（8）的右侧，但是现在进行底层最小化的另一次迭代。我希望这可以澄清问题。

请注意，我发现哪个迭代线性求解器对正半定矩阵收敛？，但正在寻找更详尽的答案。

— 用户
source

您能否发布被引用次数很高的作品的链接或引用？

— Geoff Oxberry 2012年

可以从以下网址检索：citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.164.1421 由于不希望您阅读全部内容，请看一下第7页（底部）。我认为选择迭代求解器是合理的，但我认为需要更好的（或至少是不同的）原理。

— usero 2012年

我想知道这些人是否与组合预处理器来自同一社区。

— shuhalo 2012年

Answers:

Jacobi迭代可以证明是收敛的。

你应该确保的第一件事情是，，这是解的存在性条件（我假设，否则需要），因为您说的是。我们将使用以下约定：也是矩阵，列是其正交基。在您的情况下，。 $c^T \mathbf{1}_n = 0$ $L=L^T$ $c\in (\mathrm{Ker} L^T)^\perp$ $V_0:=\mathrm{Ker} L = \mathrm{span}\{\mathbf{1}_n\}$ $V_0$ $V_0:=\mathbf{1}_n/\sqrt{n}$

然后，对于原始系统上的Jacobi迭代错误，您有其中是上的正交投影。从上面的迭代中，我们知道，从中我们有迭代矩阵在，并不是说具有与以下矩阵相同的光谱（零除外）我们想要的光谱半径

e_{1} = (I - D^{- 1} L) e_{0} = (I - D^{- 1} L) (P e_{0} + V_{0} a) = (I - D^{- 1} L) P e_{0} + V_{0} a,

$e_1 = (I-D^{-1}L)e_0 = (I-D^{-1}L) (P e_0 + V_0a)=(I-D^{-1}L) P e_0 + V_0a,$

P := I - V_{0} V_{0}^{'}

$P:=I-V_0V_0'$

V_{1} := V_{0}^{⊥}

$V_1:=V_0^\perp$

P e_{1} = P (I - D^{- 1} L) P e_{0},

$P e_1 = P (I-D^{-1}L) P e_0,$

S

$S$

V_{1}

$V_1$

S := P (I - D^{- 1} L) P .

$S: = P (I-D^{-1}L) P.$

S

$S$

\tilde{S} := (I - D^{- 1} L) P P = (I - D^{- 1} L) P = (I - D^{- 1} L) (I - V_{0} V_{0}^{'}) = I - D^{- 1} L - V_{0} V_{0}^{'} .

$\tilde{S}:= (I-D^{-1}L) P P=(I-D^{-1}L) P=(I-D^{-1}L)(I-V_0V_0')\\ =I-D^{-1}L-V_0V_0'.$

S

$S$ 不足以证明收敛。

以下引用是旧的，仅供参考。有关新证据，请参见之后。

在您的情况下，并且可以通过假设的项在对角线上为正，否则为负，来验证严格地对角占优。为了显示的特征值是真实的，我们注意到矩阵在内积下是自伴随的 $V_0V_0'=\frac{1}{n}\mathbf{1}_{n\times n}.$ $D^{-1}L+V_0V_0'$ $L$ $D^{-1}L+V_0V_0'$ $<x,y>:=y^TDx.$

如果不是您的特定格式，则我找不到收敛问题的答案。有人可以澄清吗？ $V_0$

注意，是对应于特征值的特征向量的。基于该观察，我们从排名第一的更新矩阵的特征值中调用定理2.1，并由Jiu Ding和Zhou Ai-Hui Hui应用。 $V_0$ $1$ $I-D^{-1}L$

定理2.1 令和为两个维列向量，以使为与特征值关联的的特征向量。然后，的特征值是计算代数多重性。 $u$ $v$ $n$ $u$ $A$ $\lambda_1$ $A+uv^T$ $\{\lambda_1+u^Tv,\lambda_2,\ldots,\lambda_n\}$

然后，我们知道的光谱与相同，只是后者的特征值移了变成了前者的特征值零。由于，我们有了。 $\tilde{S}$ $I-D^{-1}L$ $1$ $-1$ $\rho(I-D^{-1}L)\subset (-1,1]$ $\rho(\tilde{S})\subset (-1,1)$

— 张慧
source

谢谢回答。我曾考虑过类似的事情：即，加权拉普拉斯算子的结构如上所示，可以证明其特征值在，因此光谱半径在（一个特征值大于，并且至少一个为）。因此，迭代矩阵的谱半径小于，因此具有收敛的Jacobi。上面关于（不包括）的光谱半径的假设也许不安全？

D^{- 1} L

$D^{-1}L$

[0, 2)

$[0, 2)$

(0, 2)

$(0, 2)$

0

$0$

0

$0$

I - D^{- 1} L

$I-D^{-1}L$

1

$1$

I - D^{- 1} L

$I-D^{-1}L$

0

$0$

— usero 2012年

我认为的光谱应该在，即在处闭合。我不知道你怎么能排除。从我的角度来看，（Gershgorin圆定理）[ en.wikipedia.org/wiki/Gershgorin_circle_theorem]只能给出包括的估计。如果是这样，则的光谱半径的估计为，与的核中的向量可实现相等。我认为您想要的收敛是在上述“答案”中指出的正交补码空间中。

D^{- 1} L

$D^{-1}L$

[0, 2]

$[0,2]$

2

$2$

2

$2$

2

$2$

I - D^{- 1} L

$I-D^{-1}L$

\leq 1

$\leq 1$

L

$L$

V_{1}

$V_1$

— 张辉

您可以看一下math.ucsd.edu/~fan/research/cb/ch1.pdf的引理1.7（v），矩阵可以看作是完整图上的加权拉普拉斯算子，因此排除。我想这对于收敛证明是足够的论据吗？...........您的方法是否需要对迭代进行除中心之外的其他预处理。我问，因为你介绍以及有关的光谱：鉴于谱半径（）的是，加，将得出，这不是一个足够好的论点吗？

D^{- 1} L

$D^{−1}L$

2

$2$

c

$c$

V_{0}

$V_0$

I - D^{- 1} L - V_{0} V_{0}^{'}

$I-D^{-1}L-V_0V_0'$

s r

$sr$

I - D^{- 1} L

$I-D^{-1}L$

(0, 1]

$(0, 1]$

- \frac{1}{n}

$-\frac{1}{n}$

s r < 1

$sr<1$

— usero 2012年

嗨，谢谢你指着一本好书。但是我发现我不能快速浏览。关于您的最后一个论点，它的适用范围与上述“答案”几乎相同。请注意，您不是要添加而是添加，因此这并不是对的简单添加。通常，两个矩阵的总和是不的简单总和的各个矩阵。

\frac{1}{n}

$\frac{1}{n}$

\frac{1}{n} 1_{n \times n}

$\frac{1}{n}\mathbf{1}_{n\times n}$

s r

$sr$

I - D^{- 1} L

$I-D^{-1}L$

s r

$sr$

s r

$sr$

— 张晖

你指出的好。您的方法是否需要除中心c之外的迭代的其他前/后处理。我之所以问是因为您引入了，并且我认为您是在谈论投影空空间。如果是这样，将零空间投影出来是否真的需要收敛？

V_{0}

$V_0$

— usero 2012年

Krylov方法从不显式使用其迭代空间的维数，因此，只要将迭代保留在非null子空间中，就可以在单个系统上运行它们。通常，这是通过在每次迭代中投影出空空间来完成的。有可能出错的两件事，第一件事比第二件事更为常见。

当将预处理器应用于奇数运算符时，它是不稳定的。直接求解器和不完全因子分解可能具有此属性。实际上，我们只是选择了不同的预处理器，但是有更多原则上的方法可以为单个系统设计预处理器，例如Zhang（2010）。
在某些迭代中，位于非空子空间中，但是完全位于零空间中。这仅适用于非对称矩阵。未修改的GMRES在这种情况下会崩溃，但请参见Reichel和Ye（2005）中的无故障变体。 $x$ $A x$

要使用PETSc解决奇异系统，请参阅KSPSetNullSpace()。大多数方法和预处理器都可以求解奇异系统。实际上，只要您将零空间告知Krylov解算器并选择合理的前置条件，具有Neumann边界条件的PDE的零空间就几乎不会成为问题。

从评论看来，您似乎对Jacobi特别感兴趣。（为什么？雅可比是作为多重网格平滑是有用的，但也有更好的方法作为解算器来使用。）雅可比施加到当矢量不收敛具有的零空间的分量，然而，与零空间正交的解的一部分会收敛，因此，如果将零空间投影到每个迭代对象之外，则会收敛。或者，如果选择一致的和初始猜测，则迭代（以精确的算术）不会在零空间中累积分量。 $A x = b$ $b$ $A$ $b$

— 杰德·布朗
source

您可以执行基准的正交更改，以使对角线上的零（查找第一列为常数矢量的正交矩阵）。在此变换，矩阵仍然是对称的正半定数，但是第一个对角线项为0，因此直接应用Jacobi将失败。由于是密集的，因此您实际上不会这样做，但这表明基础很重要。如果是零空间的正交基础，则投影GMRES仅求解。

Q

$Q$

A_{1} = Q^{T} A Q

$A_1 = Q^T A Q$

A_{1}

$A_1$

A_{1}

$A_1$

Z

$Z$

(I - Z) P^{- 1} A x = (I - Z) P^{- 1} b

$(I-Z)P^{-1} A x = (I-Z)P^{-1} b$

— 杰德·布朗

嗯，看来我回复了一条被删除的评论。如果有用，我将在此处保留评论。

— 杰德·布朗

感谢您的回答，它的专业水平比我预期的高得多。因此，我需要一些指导：1）如何在每次迭代中投影出空空间？2）根据我的理解，您说过，如前所述，Jacobi在系统上的应用可能主要不会收敛到精确的解（即，迭代数没有得到更好的解估计）。因此建议选择不同的预处理器？如果是这样，这实际上是否暗示对行为进行动态检查，并在问题发生时更改（对于上述线性系统情况）？

d i a g (A)

$diag(A)$

— usero 2012年

我上面的1）应该被认为是：给定最初发布了系统的Jacobi迭代，是否需要投影出空空间？如果是，那么如何将其合并到更新吗？对迭代进行后处理，并考虑的后处理版本吗？

X_{k + 1} = D^{- 1} (b - (A - D) X_{k})

$X_{k+1}=D^{-1}(b-(A-D)X_k)$

X_{k + 1}

$X_{k+1}$

X_{k}

$X_{k}$

— usero 2012年

在合理的基础上，雅各比应该稳定。如果对角矩阵元素为0，则它也可以在对角线上使用1，投影仍会删除零空间。您是否打算使用CG或GMRES之类的Krylov方法？如果没有，为什么不呢？如果是这样，则只需要为空空间提供正交基础。您在零空间中只有恒定模式，因此到零空间的正交投影仪为，其中是列向量。因此，去除零空间的正交投影仪为。（我的第一句话有误，如果以为基础，则为投影机。）

N = Z Z^{T}

$N=ZZ^T$

Z

$Z$

I - N

$I-N$

Z

$Z$

N = I - Z Z^{T}

$N=I-ZZ^T$

— Jed Brown