计算线性回归问题的标准误差而无需计算逆

11

是否有一个更快的方法来计算标准误差为线性回归问题，不是通过反相？在这里，我假设我们有回归： $X'X$

ÿ = X β + ε ，

$y=X\beta+\varepsilon,$

其中是矩阵，是向量。 $X$ $n\times k$ $y$ $n\times 1$

为了找到最小二乘问题的解决方案是不现实的与做任何事情，你可以在矩阵使用QR或SVD分解直接。或者，您可以使用渐变方法。但是标准错误呢？我们真的只需要对角线（自然LS解计算的标准误差的估计）。有没有用于标准误差计算的特定方法？ $X'X$ $X$ $(X'X)^{-1}$ $\varepsilon$

linear-algebra optimization

— mpiktas
source

Answers:

5

假设您使用的奇异值分解（SVD）解决了最小二乘问题， $X$

X = ü Σ V^{'} ，

$X = U\Sigma V',$

其中和为单一，而为对角线。 $U$ $V$ $\Sigma$

然后

X^{'} X = V Σ^{2} V^{'} 。

$X'X = V \Sigma^2 V'.$

存在当且仅当是满秩（或具有严格为正奇异值），在这种情况 $(X'X)^{-1}$ $X$

（ X^{'} X ）^{- 1个} = V Σ^{- 2} V^{'} 。

$(X'X)^{-1} = V \Sigma^{-2} V'.$

（请参阅我对Math.SE的一个相关问题的回答。）

如果已经有和，计算需要反转和平方对角矩阵（用于操作矩阵），缩放矩阵的列（或行）（操作），和一个矩阵相乘（不幸的是）。此方法将在数值上表现良好。 $\Sigma$ $V$ $(X'X)^{-1}$ $n$ $n \times n$ $n^2$ $\mathcal{O}(n^{3})$

有用于获得稀疏矩阵的逆矩阵的对角元素的快速方法（参见由工作斯夫·萨阿德的组和工作林林等人）。然而，在你的情况下，可能不是稀疏的（即使是），即使它是，它可能会被病态不够，这些快速的方法会产生不准确的结果。 $X'X$ $X$

— 杰夫·奥克斯伯里
source

+1，我忘了那个漂亮的SVD属性。如果没有其他答案，我将接受这个答案，因为它与我想要得到的答案非常接近（并且肯定比我期望得到的要好：））

— mpiktas

我要补充一点，如果你只是想计算的对角线元素

，那么这个过程是

如果你已经拥有的SVD

。如果您愿意，我可以在答案中写出一个求和公式。

(X^{'} X)^{- 1}

$(X'X)^{-1}$

O (n^{2})

$\mathcal{O}(n^2)$

X

$X$

— Geoff Oxberry 2012年

没有参考；它只是扩大出来的对角元素的公式

中逐元素加法运算方面。

(X^{'} X)^{- 1}

$(X'X)^{-1}$

— Geoff Oxberry 2012年

我可以解决这个问题。V的行总和除以

对角线的平方。整齐。

Σ

$\Sigma$

— mpiktas 2012年

忽略最后一条评论，那里有错误。我得到了正确的公式。

— mpiktas 2012年

By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.

Licensed under cc by-sa 3.0 with attribution required.