说明“本征”如何帮助反转矩阵

我的问题与geoR:::.negloglik.GRF或中利用的计算技术有关geoR:::solve.geoR。

在线性混合模型设置中：其中和分别是固定效应和随机效应。此外，

Y = X β + Z b + e

$Y=X\beta+Zb+e$

β

$\beta$

b

$b$

Σ = cov (Y)

$\Sigma=\text{cov}(Y)$

估算效果时，需要计算，通常可以使用来完成，但是有时几乎不可逆，因此请运用技巧

(X^{'} Σ^{- 1} X)^{- 1} X^{'} Σ^{- 1} Y

$(X'\Sigma^{-1}X)^{-1}X'\Sigma^{-1} Y$ solve(XtS_invX,XtS_invY)

(X^{'} Σ^{- 1} X)

$(X'\Sigma^{-1}X)$ geoR

t.ei=eigen(XtS_invX)
crossprod(t(t.ei$vec)/sqrt(t.ei$val))%*%XtS_invY

（可以在geoR:::.negloglik.GRF和中看到geoR:::.solve.geoR）等于分解，其中，因此

(X^{'} Σ^{- 1} X) = Λ D Λ^{- 1}

$(X'\Sigma^{-1}X)=\Lambda D \Lambda^{-1}\\$

Λ^{'} = Λ^{- 1}

$\Lambda'=\Lambda^{-1}$

(X^{'} Σ^{- 1} X)^{- 1} = (D^{- 1 / 2} Λ^{- 1})^{'} (D^{- 1 / 2} Λ^{- 1})

$(X'\Sigma^{-1}X)^{-1}=(D^{-1/2}\Lambda^{-1})'(D^{-1/2}\Lambda^{-1})$

两个问题：

本征分解如何帮助反转？ $(X'\Sigma^{-1}X)$
还有其他可行的选择（强大且稳定）吗？（例如qr.solve或chol2inv？）

— 乔勒斯
source

1）本征分解实际上并没有太大帮助。它在数值上肯定比Cholesky因式分解更稳定，如果您的矩阵病残/几乎单数/条件编号高，这将很有帮助。因此，您可以使用特征分解，这将为您提供解决问题的方法。但是，几乎不能保证这将是正确的解决方案。老实说，一旦您明确反转，损坏就已经完成了。形成只会使事情变得更糟。本征分解将帮助您赢得战斗，但战争无疑会失败。 $\Sigma$ $X^T \Sigma^{-1} X$

2）在不知道您的问题具体细节的情况下，我会这样做。首先，在执行Cholesky因式分解使得。然后对执行QR分解，使。请务必计算使用前向代- DO NOT明确反转。这样便得到：从这里，您可以求解所需的任何右侧。但是再说一次 $\Sigma$ $\Sigma = L L^T$ $L^{-1} X$ $L^{-1} X = QR$ $L^{-1} X$ $L$

\begin{matrix} X^{T} Σ^{- 1} X & = & X^{T} (L L^{T})^{- 1} X \\ = & X^{T} L^{- T} L^{- 1} X \\ = & (L^{- 1} X)^{T} (L^{- 1} X) \\ = & (Q R)^{T} Q R \\ = & R^{T} Q^{T} Q T \\ = & R^{T} R \end{matrix}

$\begin{array}{} X^T \Sigma^{-1} X & = & X^T (L L^T)^{-1} X \\ & = & X^T L^{-T} L^{-1} X \\ & = & (L^{-1} X)^T (L^{-1} X) \\ & = & (Q R)^T Q R \\ & = & R^T Q^T Q T \\ & = & R^T R \end{array}$

R

$R$ （或）。根据需要使用向前和向后替换。

R^{T} R

$R^T R$

顺便说一句，我很好奇您方程式的右边。你写它的。您确定不是吗？因为如果是这样，您可以在右侧使用类似的技巧：然后就可以递送致命的一击，当你去解决： $X^T \Sigma Y$ $X^T \Sigma^{-1} Y$

\begin{matrix} X^{T} Σ^{- 1} Y & = & X^{T} (L L^{T})^{- 1} Y \\ = & X^{T} L^{- T} L^{- 1} Y \\ = & (L^{- 1} X)^{T} L^{- 1} Y \\ = & (Q R)^{T} L^{- 1} Y \\ = & R^{T} Q^{T} L^{- 1} Y \end{matrix}

$\begin{array}{} X^T \Sigma^{-1} Y & = & X^T (L L^T)^{-1} Y \\ & = & X^T L^{-T} L^{-1} Y \\ & = & (L^{-1} X)^T L^{-1} Y \\ & = & (Q R)^T L^{-1} Y \\ & = & R^T Q^T L^{-1} Y \end{array}$

β

$\beta$

\begin{matrix} X^{T} Σ^{- 1} X β & = & X^{T} Σ^{- 1} Y \\ R^{T} R β & = & R^{T} Q^{T} L^{- 1} Y \\ R β & = & Q^{T} L^{- 1} Y \\ β & = & R^{- 1} Q^{T} L^{- 1} Y \end{matrix}

$\begin{array}{} X^T \Sigma^{-1} X \beta & = & X^T \Sigma^{-1} Y \\ R^T R \beta & = & R^T Q^T L^{-1} Y \\ R \beta & = & Q^T L^{-1} Y \\ \beta & = & R^{-1} Q^T L^{-1} Y \end{array}$

R

$R$ 最后一步吧？那只是向后的替代。:-)

— 比尔·沃斯纳
source

谢谢。这是一个有用的回应。明确地说，您的chol / qr替代品会有助于赢得战争吗？还是仅仅比本征游戏更胜一筹？

— qoheleth

这是一个很难回答的问题。我相信结合使用Cholesky和QR因式分解将为您提供更好的答案（和更快的答案）。答案是否正确取决于问题的根源。在这种情况下，有2个潜在来源。的列要么几乎与线性相关，要么接近奇数。当您形成，这些问题会相互放大。Cholesky + QR方法不能（也不能）缓解这两个问题，但是可以防止情况恶化。

X

$X$

Σ

$\Sigma$

X^{T} Σ^{- 1} X

$X^T \Sigma^{-1} X$

— Bill Woessner