如何在线性回归中导出系数的方差-协方差矩阵

我正在阅读有关线性回归的书，但在理解的方差-协方差矩阵时遇到了一些麻烦：$\mathbf{b}$

对角项很容易，但对角项比较困难，令我感到困惑的是

$$\sigma(b_0, b_1) = E(b_0 b_1) - E(b_0)E(b_1) = E(b_0 b_1) - \beta_0 \beta_1$$

但没有一丝和β 1在这里。$\beta_0$$\beta_1$

这实际上是一个很酷的问题，它挑战了您对回归的基本理解。

首先消除有关符号的任何初始混淆。我们正在看回归：

$$y=b_0+b_1x+\hat{u}$$

其中$b_0$和$b_1$是真正的估计$\beta_0$和$\beta_1$，和ü是回归的残差。请注意，潜在的真实和不可预测的回归因此表示为：$\hat{u}$

$$y=\beta_0+\beta_1x+u$$

$E[u]=0$$E[u^2]=\sigma^2$$b$$\hat{\beta}$$\beta=[\beta_0, \beta_1]'$$b=[b_0, b_1]'$。（为了清楚起见，在以下计算中我将X视为固定值。）

现在到您的问题。您的协方差公式确实是正确的，即：

$$\sigma(b_0, b_1) = E(b_0 b_1) - E(b_0)E(b_1) = E(b_0 b_1) - \beta_0 \beta_1$$

$\beta_0, \beta_1$

$$Var(\hat\beta)=\sigma^2(X'X)^{-1}$$

该矩阵保存对角元素的方差和非对角元素的协方差。

$Var[\cdot]$$E[\cdot]$

$$Var[b]=E[b^2]-E[b]E[b']$$

$b=(X'X)^{-1}X'y$$E[b]=\beta$

$$E[((X'X)^{-1}X'y)^2] - \underset{2 \times 2}{\beta^2}$$

$\beta^2$$bb'$

$y$

$$\begin{align*} E\Big[\Big((X'X)^{-1}X'y\Big)^2\Big] - \beta^2 &= E\Big[\Big((X'X)^{-1}X'(X\beta+u)\Big)^2\Big]-\beta^2 \\ &= E\Big[\Big(\underbrace{(X'X)^{-1}X'X}_{=I}\beta+(X'X)^{-1}X'u\Big)^2\Big]-\beta^2 \\ &= E\Big[\Big(\beta+(X'X)^{-1}X'u\Big)^2\Big]-\beta^2 \\ &= \beta^2+E\Big[\Big(X'X)^{-1}X'u\Big)^2\Big]-\beta^2 \end{align*}$$

$E[u]=0$$\beta^2$

因此，我们有：

$$Var[b]=((X'X)^{-1}X')^2E[u^2]$$

$E[u^2]=\sigma^2$$((X'X)^{-1}X')^2=(X'X)^{-1}X'X(X'X)'^{-1}=(X'X)^{-1}$$X'X$$K\times K$

$$Var[b]=\sigma^2(X'X)^{-1}$$

$\beta$$\beta_0\beta_1$

$\sigma^2(X'X)^{-1}$$\beta$

$\sigma^2$$\beta$$b_0=b_1=0$

在你的情况下

$$X'X=\begin{bmatrix}n & \sum X_i\\\sum X_i & \sum X_i^2\end{bmatrix}$$

将该矩阵求逆，您将得到所需的结果。

$\beta_0 \beta_1$$E(b_0)=\beta_0$$E(b_1)=\beta_1$