A'A和AA'配方的条件编号

9

显示（Yousef Saad，稀疏线性系统的迭代方法，第260页） $cond(A'A) \approx cond(A)^2$

这是真的为呢？ $AA'$

如果是且，我观察到 $A$ $N\times M$ $N \ll M$ $cond(A'A) \gg cond(AA')$

在这种情况下，以表示是否意味着更可取？ $AA'$

linear-algebra condition-number

— 亚力山大
source

2

您正在比较大小相差很大的两个矩阵的条件数。没有解释为什么，这种比较似乎没有意义。当然，如果您可以通过使用更小的矩阵来完成所需的操作，则应该这样做（即使条件相似）。

— David Ketcheson 2012年

1

下面是Stefano M的新答案是正确的。请阅读并投票。

— David Ketcheson

6

如果 $A\in\mathbb{R}^{N\times M}$ 与 $N<M$ ，然后

r a n k (A^{T} A) = r a n k (A A^{T}) = r a n k (A) \leq N < M

$\mathop{\mathrm{rank}}(A^TA) = \mathop{\mathrm{rank}}(AA^T) = \mathop{\mathrm{rank}}(A) \leq N < M$ 以便

A^{T} A \in R^{M \times M}

$A^TA \in \mathbb{R}^{M\times M}$ 不能为全等级，即单数。

因此条件编号为 $\kappa_2(A^TA)=\infty$ 。由于有限精度算法，如果您cond(A'A)在matlab中进行计算，则不会获得大数Inf。

— 斯特凡诺（Stefano M）
source

@OscarB：的奇异值

A

$A$ 只是

N

$N$ ，没有这样的事情

M

$M$ 奇异的价值！您的推导是正确的，但是请注意，如果

σ_{i}

$\sigma_i$ ，

i = 1 \dots N

$i=1\dots N$ 是sv的

A

$A$ ，然后

S S^{T} = d i a g (σ_{1}^{2}, \dots, σ_{n}^{2})

$SS^T=\mathop{\mathrm{diag}}(\sigma_1^2,\dots,\sigma_n^2)$ ，而

S^{T} S = d i a g (σ_{1}^{2}, \dots, σ_{n}^{2}, 0, \dots, 0)

$S^TS = \mathop{\mathrm{diag}}(\sigma_1^2,\dots,\sigma_n^2, 0, \dots, 0)$ 与

M - N

$M-N$ 尾随零。

— Stefano M

8

好吧，让我们看看为什么 $A^TA$ 条件数的平方 $A$ 。使用SVD分解 $A=USV^T$ ，带有 $U \in \mathbb{R}^{N \times N}$ ， $S \in \mathbb{R}^{N \times M}$ ， $V \in \mathbb{R}^{M \times M}$ ，我们可以表达 $A^T A$ 如

$A^T A=(USV^T)^T USV^T=VS^T U^T U S V^T=V S^T S V^T$

我们注意到这一点 $U$ 是正交的，这样 $U^T U=I$ 。此外，我们注意到 $S$ 是对角矩阵，使得 $A^TA$ 可以表示为 $V S^2 V^T$ ，带有 $S^2$ 含义 $S^T S$ ，得出对角矩阵，其中的前N个奇异值来自 $S$ 在对角线平方。这意味着，由于条件数是第一个和最后一个奇异值的比， $cond(A)=\frac{s_1}{s_N}$ 对于 $A \in \mathbb{R}^{N \times M}$ ，

$cond(A^T A)=\frac{s_1^2}{s_M^2}=(\frac{s_1}{s_M})^2=cond(A)^2$

现在，我们可以执行相同的练习 $AA^T$ ：

$AA^T=USV^T (USV^T)^T=USV^T V S^T U^T=U S^2 U^T$

这意味着我们得到了结果 $cond(AA^T)=\frac{s_1^2}{s_N^2}$ ，因为 $S^2$ 这里的意思是 $SS^T$ ，与上面的符号有细微的差别。

但是请注意细微的差别！对于 $A^TA$ ，条件编号在分母中具有第M个奇异值，而 $AA^T$ 具有第N个奇异值。这说明了为什么您看到条件编号有显着差异的原因- $AA^T$ 确实比“更好” $A^TA$ 。

不过，大卫·凯奇森（David Ketcheson）是正确的-您正在比较两种截然不同的矩阵之间的条件编号。特别是您可以完成的工作 $A^TA$ 将与您可以完成的目标不同 $AA^T$ 。

— 奥斯卡奖
source

这是一个很好的解释！我现在清楚地看到了区别。矩阵A用于建立法线方程，只需稍作更改，您就可以将其表示为

A A^{'}

$AA'$ ，不是古典

A^{'} A

$A'A$ 。您还能说出使用LSQR之类的求解器而不是法线方程是否有利？由于LSQR完全不需要构建此产品。

— 亚历山大

很高兴有道理。通常，您需要考虑问题的条件。但是，如果这不是问题，则可以使用正则方程式/ A的QR分解/ LSQR，具体取决于问题的大小（除其他事项外）。除非您的问题很大或状况不佳，否则我可能会应用QR因式分解，但是如果您对要解决的问题没有更多的了解，就很难说了。我相信其他有更多经验的人可以提供更详细的建议。

— OscarB 2012年

A本身是病态的（条件号为

\approx 10^{7}

$\approx 10^7$ ），又大又密。不能选择QR。由于情况不佳，无论如何我必须添加一些正则化。现在，简单的Tikhonov正则化似乎就足够了。关键是，如果

c o n d (A) < c o n d (A A^{T}) < c o n d (A^{T} A)

$cond(A) < cond(AA^T) < cond(A^T A)$ （对于我的情况

N < M

$N < M$ ），那么使用LSQR似乎总是可取的，因为您根本不需要形成任何产品。问题是，通过正态方程和LSQR获得的解是否相同？

— 亚历山大

好吧，据我了解，LSQR将在“无数次”迭代后以精确的精度为法线方程提供相同的解决方案。但是，对于不适定的问题，法向方程式解决方案不是您想要的。相反，您想使用LSQR进行迭代，直到实现半收敛为止。但是，控制不适定问题中的迭代算法完全是另一回事。同样，根据矩阵向量乘积的成本和所需的迭代次数（以及由此得到的矩阵），采用双向对角化的直接tikhonov解决方案可能会更好。

— OscarB 2012年

很棒的解释。先生，+ 1！

— meawoppl 2012年

2

声称 $\DeclareMathOperator{\cond}{cond} \cond A^2 \approx \cond A^T A$ （用于方阵）和 Artan答案中的[编辑：我误读]是胡说八道。反例

A = (\begin{matrix} ϵ & 1 \\ 0 & ϵ \end{matrix}), ϵ ≪ 1

$\newcommand\bigO{\mathcal{O}}A = \begin{pmatrix} \epsilon & 1 \\ 0 & \epsilon \end{pmatrix}, \quad \epsilon \ll 1$

您可以轻松地检查 $\cond A^T A = \bigO(\epsilon^{-4})$ 而 $\cond A^2 = \bigO(\epsilon^{-2})$ 。

— 杰德·布朗
source

好强调一下

A^{2}

$A^2$ 和

A^{T} A

$A^T A$ 总的来说，关于eigs，svds和cond号是非常不同的：但是在我看来，问题的主张是关于

[c o n d (A)]^{2}

$[\mathrm{cond}(A)]^2$ 。

— Stefano M

@StefanoM谢谢，似乎我读错了，尽管从讨论中看，并不是唯一的一个。

— 杰德·布朗

1

在精确算术cond（A ^ 2）= cond（A'A）= cond（AA'）中，请参见例如。Golub和van Loan，第3版，第70页。如果A几乎秩不足，则在浮点算术中不是这样。最好的建议是，在解决最小二乘问题时，请遵循上述书中的说明，最安全的方法是SVD方法p257。在计算SVD时，请改用\ varepsilon-rank，其中\ varepsilon是矩阵数据的分辨率。

— 阿尔坦
source

对不起，我看了Golub和Van Loan第三版。70，并且找不到任何支持语句cond（A ^ 2）= cond（A ^ TA）= cond（AA ^ T）的内容。您能否更具体地参考一下？

— OscarB 2012年

那里没有语句，但是您可以从定理2.5.2和伪逆定理5.5.4节中得出cond（AA'）= cond（A'A）。我采用伪逆的原因是，这对于手头最小二乘问题很重要。cond（A ^ 2）之后的等式应为\ approx，抱歉。

— Artan 2012年

不，这个答案是完全错误的。参见我的反例。

— 杰德·布朗

萨阿德一定是在某些特定情况下指出了这一点。与手头问题有关的是进行性辩论。

— Artan