共轭梯度的最坏情况复杂度是多少？

9

令对称且为正定。假设将向量乘以需要个工作单位。众所周知，在条件编号为上执行CG算法需要个工作单位。 $A\in \mathbb{R}^{n\times n}$ $m$ $A$ $A$ $\kappa$ $\mathcal{O} (m\sqrt{\kappa})$

现在，当然，作为语句，这是一个上限。CG算法总是可以以零步长的终止值进行幸运的初始猜测。 $\mathcal{O}$

我们是否知道是否存在RHS和最初的（不幸的）猜测，这将需要步骤？换句话说，CG的最坏情况下的工作复杂度真的是吗？ $\mathcal{\Theta}(\sqrt{\kappa})$ $\Theta( m \sqrt{\kappa})$

当我尝试确定预处理器的收益（较低的）是否超过其成本（较高的）时，就会出现此问题。现在，我正在处理玩具问题，并希望在用编译语言实现任何东西之前有一个更好的主意。 $\kappa$ $m$

conjugate-gradient

— 弗雷德
source

5

您可以通过向后运行CG算法并将适当的能量放入该算法需要所有步骤的每个正交搜索方向中来构建一个简单的初始猜测。

A

$A$

— origimbo

9

答案是肯定的。的收敛速度边界在条件号为的对称正定矩阵集合上很明显。换句话说，只知道的条件编号，CG确实可以使用迭代来收敛。宽松地说，如果的特征值在条件编号的间隔内均匀分布（即“ peppered”），则达到上限。 $(\sqrt{\kappa}-1) / (\sqrt{\kappa}+1)$ $\kappa$ $A$ $\sim\sqrt{\kappa}$ $A$ $\kappa$

这是一个更严格的声明。确定性版本涉及更多，但工作原理相同。

定理（最坏情况选择）。选择任意随机正交矩阵 $A$ $U$ ，让 $\lambda_1,\ldots,\lambda_n$ 是 $n$ 从实间隔统一采样的实数 $[1,\kappa]$ ，然后让 $b=[b_1;\ldots;b_n]$ 是 $n$ 从标准高斯采样的iid的实数。限定

A = U d i a g (λ_{1}, \dots, λ_{n}) U^{T} .

$A=U\mathrm{diag}(\lambda_1,\ldots,\lambda_n)U^T.$ 然后在极限

n \to \infty

$n\to\infty$ ，共轭梯度将以1到1的概率收敛。

ϵ

$\epsilon$ 准确的解决方案

A x = b

$Ax=b$ 不少于

Ω (\sqrt{κ} \log ϵ^{- 1})

$\Omega(\sqrt{\kappa}\log\epsilon^{-1})$ 迭代。

证明。标准证明是基于最佳Chebyshev多项式逼近，并使用Greenbaum的书或Saad的书等许多地方的技术。

— 张国荣
source

1

边界不是很尖锐，如后面的答案所述：如果特征值不是均匀分布的，则cg收敛更快，因为它不是平稳的迭代。因此，我们需要更多地了解矩阵。

— Guido Kanschat

@GuidoKanschat：很好，我已经修正了这个问题，以澄清在所有方面都达到了清晰度。

A

$A$ 有条件

κ

$\kappa$ 。

— 理查德·张

证明归结为最小化

‖ p (A) ‖

$\|p(A)\|$ 在顺序的空间中-

k

$k$ 满足多项式

p (0) = 1

$p(0)=1$ 。等效地，这是

min_{p} max_{λ \in Λ (A)} | p (λ) |

$\min_p \max_{\lambda\in\Lambda(A)} |p(\lambda)|$ 。在规定的限制，最小极大问题的解决方案是Chebyshev多项式，其误差收敛为

Λ (A) \to [1, κ]

$\Lambda(A)\to[1,\kappa]$

\sim \sqrt{κ}

$\sim\sqrt{\kappa}$

— 理查德·张

0

以此作为我的原始问题：我们是否知道是否存在RHS和初始（不幸的）猜测，这将需要步骤？ $\Theta(\sqrt{\kappa})$

这个问题的答案是“否”。这个答案的想法来自Guido Kanschat的评论。

要求：对于任何给定的条件编号，存在一个矩阵，具有该条件编号的CG算法将在最多两个步骤中终止（对于任何给定的RHS和初始猜测）。 $k$ $A$

考虑，其中。那么的条件数是。设为RHS，并将的特征值表示为，其中 $A\in \mathbb{R}^{n\times n}$ $A=\mathrm{diag}(1,\kappa,\kappa,\ldots, \kappa)$ $A$ $\kappa$ $b\in \mathbb{R}^n$ $A$ $\lambda_i$

λ_{i} = {\begin{cases} 1 & i = 1 \\ κ & i \neq 1 \end{cases} .

$\lambda_i = \left\{\begin{array}{ll}1 & i=1\\ \kappa & i\not= 1 \end{array} \right. .$

我们首先考虑中，初始猜测为零。将中的表示为CG算法中的第二个估计值。通过显示我们证明。确实，我们有 $x^{(0)} \in \mathbb{R}^n$ $x^{(2)}\in \mathbb{R}^n$ $A^{-1}b$ $x^{(2)} =A^{-1}b$ $\langle x^{(2)}-A^{-1}b, A(x^{(2)}-A^{-1}b)\rangle =0$

\begin{aligned} ⟨ x^{(2)} - A^{- 1} b, A (x^{(2)} - A^{- 1} b) ⟩ & = {‖ x^{(2)} - A^{- 1} b ‖}_{A}^{2} \\ = min_{p \in {p o l y}_{1}} {‖ (p (A) - A^{- 1}) b ‖}_{A}^{2} \\ = min_{p \in {p o l y}_{1}} \sum_{i = 1}^{n} (p (λ_{i}) - λ_{i}^{- 1})^{2} λ_{i} b_{i}^{2} \\ \leq \sum_{i = 1}^{n} (\hat{p} (λ_{i}) - λ_{i}^{- 1})^{2} λ_{i} b_{i}^{2} = 0 \end{aligned}

$\begin{align*} \langle x^{(2)}-A^{-1}b, A(x^{(2)}-A^{-1}b)\rangle &= \left\| x^{(2)}-A^{-1}b \right\|_A^2 \\ &=\min_{p\in \mathrm{poly}_{1} } \left\| (p(A)-A^{-1}) b \right\|_A^2\\ &=\min_{p\in \mathrm{poly}_{1} } \sum_{i=1}^n (p(\lambda_i) - \lambda_i^{-1})^2 \lambda_i b_i^2 \\ &\le \sum_{i=1}^n (\widehat{p}(\lambda_i) - \lambda_i^{-1})^2 \lambda_i b_i^2 = 0 \end{align*}$

在这里我们使用定义为的一阶多项式。因此，我们证明了。 $\widehat{p}$ $\widehat{p}(x)= (1+\kappa-x)/\kappa$ $x^{(0)}= 0$

如果，则其中是CG算法的第二个估计值，其中替换为。因此，我们将此案例简化为上一个案例。 $x^{(0)} \not = 0$ $x^{(2)}= \overline{x^{(2)}}+ x^{(0)}$ $\overline{x^{(2)} }$ $b$ $\overline{b} = b-A x^{(0)}$

— 弗雷德
source

其中有多少对有限精度算术具有鲁棒性？

— origimbo

@origimbo如果您的问题是直接给我的，答案是“我不知道”。

— 弗雷德