使用奇异值分解从线性回归模型计算方差协方差矩阵

我有一个p个回归变量，n个观测值的设计矩阵，并且正在尝试计算参数的样本方差-协方差矩阵。我正在尝试使用svd直接计算它。

我正在使用R，当我取设计矩阵的svd时，我得到三个组件：矩阵为，矩阵为 x（可能是特征值），矩阵为。我将对角化，使其成为非对角线中矩阵。$U$$n \times p$$D$$1\times 3$$V$$3\times 3$$D$$3\times 3$

假设协方差的公式为：，但是矩阵不匹配，甚至不接近R的内置函数。有没有人有任何建议/参考？我承认我在这方面不熟练。$V D^2 V'$vcov

首先，回想一下，在线性回归模型的多元正态性假设下，我们有

$$\hat{\beta} \sim \mathcal{N}( \beta, \sigma^2 (X^T X)^{-1} ) .$$

现在，如果，其中右边是X的SVD，那么我们得到的。因此， $X = U D V^T$$X^T X = V D U^T U D V = V D^2 V^T$

$$(X^T X)^{-1} = V D^{-2} V^T .$$

我们仍然缺少方差的估计值，即

$$\hat{\sigma}^2 = \frac{1}{n - p} (y^T y - \hat{\beta}^T X^T y) .$$

虽然我还没有检查，希望vcov回报。$\hat{\sigma}^2 V D^{-2} V^T$

注意：您编写了，即，但是我们需要方差-协方差矩阵的逆函数。还要注意，在，要执行此计算，您需要$V D^2 V^T$$X^T X$$R$

vcov.matrix <- var.est * (v %*% d^(-2) %*% t(v))

观察到，对于矩阵乘法，我们使用%*%而不是*。var.est以上是对噪声方差的估计。

（此外，我还假设是全秩的，并且始终是。如果不是这种情况，则必须对上述内容进行较小的修改。）$X$$n \geq p$