低阶线性系统的快速计算/估计

方程的线性系统普遍存在于计算统计中。我遇到的一种特殊系统（例如，在因子分析中）是

一个 X = b

$Ax=b$

其中这里是对角线矩阵具有严格为正对角，是（具有）对称半正定矩阵，是任意矩阵。我们被要求解决一个被低秩矩阵扰动的对角线性系统（简单）。解决上述问题的幼稚方法是使用伍德伯里公式将求逆

一个 = d + 乙 Ω 乙^{Ť}

$A=D+ B \Omega B^T$

D

$D$

n \times n

$n\times n$

Ω

$\Omega$

m \times m

$m\times m$

m ≪ n

$m\ll n$

B

$B$

n \times m

$n\times m$

A

$A$ 。但是，这并不对劲，因为Cholesky和QR因式分解通常可以大大加快线性系统（和法向方程式）的求解速度。我最近提出了以下论文，该论文似乎采用了Cholesky方法，并提到了伍德伯里反演的数值不稳定性。但是，该论文似乎是草稿形式，我找不到数值实验或支持性研究。解决我描述的问题的最新技术水平是什么？

— 空洞的
source

@gappy，你是否考虑使用QR（或乔列斯基）分解为矩阵

（在Woodburry式中间项）？其余的运算是简单的矩阵乘法。不稳定的主要来源是然后计算

。由于

我怀疑这应用QR或乔列斯基与Woodbury的组合将比QR上的所有矩阵更快

。当然，这不是最先进的技术，只是一般性的观察。

Ω^{- 1} + B D^{- 1} B^{T}

$\Omega^{-1}+BD^{-1}B^T$

Ω^{- 1}

$\Omega^{-1}$

m << n

$m<<n$

A

$A$

— mpiktas 2011年

我怀疑什么马蒂亚斯·西格主张是内

艺术的状态，他是一个非常明亮的家伙和此类问题一再突然出现的那种模式，他调查。出于相同的原因，我使用基于Cholesky的方法。我怀疑Golub和Van Loan在“矩阵计算”中进行了讨论，这是这类事情的标准参考（尽管我没有手头）。

ϵ

$\epsilon$

— 2011年

注意，通过采取

您的问题等同于求解系统

其中

。因此，这在某种程度上简化了问题。现在，让

，我们知道

是半正定至多

\bar{B} = D^{- 1 / 2} B

$\bar{B} = D^{-1/2} B$

(I + \bar{B} Ω {\bar{B}}^{T}) x = \bar{b}

$(I + \bar{B}\Omega \bar{B}^T)x = \bar{b}$

\bar{b} = D^{- 1 / 2} b

$\bar{b} = D^{-1/2} b$

Σ = \bar{B} Ω {\bar{B}}^{T}

$\Sigma = \bar{B} \Omega \bar{B}^T$

Σ

$\Sigma$

正的特征值。以来

m

$m$

，找到

最大特征值和对应的特征向量可以以各种方式来完成。然后将溶液

其中

给出的特征分解

。

m ≪ n

$m \ll n$

m

$m$

x = Q (I + Λ)^{- 1} Q^{T} \bar{b}

$x = Q(I + \Lambda)^{-1} Q^T \bar{b}$

Σ = Q Λ Q^{T}

$\Sigma = Q \Lambda Q^T$

Σ

$\Sigma$

— 主教

小的修正：（1）等效系统

和（2）最终的解决方案是

。（I已降至一个

的前方

(I + \bar{B} Ω {\bar{B}}^{T}) D^{1 / 2} x = \bar{b}

$(I + \bar{B} \Omega \bar{B}^T) D^{1/2} x = \bar{b}$

x = D^{- 1 / 2} Q (I + Λ)^{- 1} Q^{T} D^{- 1 / 2} b

$x = D^{-1/2} Q (I + \Lambda)^{-1} Q^T D^{-1/2} b$

D^{1 / 2}

$D^{1/2}$

x

$x$ 请注意，所有的逆都是对角矩阵，因此都是平凡的。

— 主教

@mpiktas：我觉得你的意思是

因为在版本你写的矩阵产品是不是由于尺寸不匹配明确。:)

Ω^{- 1} + B^{T} D^{- 1} B

$\Omega^{-1} + B^T D^{-1} B$

— 红衣主教

Golub＆van Loan撰写的“ Matrix Computations”在第12.5.1章中详细讨论了在rank-p更新后更新QR和Cholesky因式分解。

— 法比安·佩德雷戈萨（Fabian Pedregosa）
source

我知道，相关的lapack函数在我链接的论文和本书中都提到过。但是，我想知道针对当前问题而不是通用更新问题的最佳实践是什么。

— 令人毛骨悚然的2011年