回归系数的估计是否不相关？

考虑一个简单的回归（不假设正态性）：其中的均值为，标准差为。和的最小二乘估计是否不相关？

$$Y_i = a + b X_i + e_i,$$ $e_i$$0$$\sigma$$a$$b$

在设计实验时，这是一个重要的考虑因素，在这种情况下，可能需要估计之间没有（或很少）相关性 $\hat a$ 和 $\hat b$。这种缺乏相关性可以通过控制$X_i$。

---

分析效果 $X_i$ 根据估算值 $(1,X_i)$ （是长度为行的向量 $2$）垂直组装成矩阵 $X$中，设计矩阵，因为有数据和（显然）两列具有尽可能多的行。相应的$Y_i$ 被组装成一个长（列）向量 $y$。在这些方面，写作$\beta = (a,b)^\prime$ 对于组装系数，模型为

$$\mathbb{E}(Y) = X \cdot \beta$$

的 $Y_i$ （通常）假定为独立随机变量，其方差为常数 $\sigma^2$ 对于一些未知 $\sigma \gt 0$。相关观察$y$ 被视为向量值随机变量的一种实现 $Y$。

OLS解决方案是

$$\hat\beta = \left(X^\prime X\right)^{-1} X^\prime y,$$

假设这个矩阵逆存在。因此，利用矩阵乘法和协方差的基本属性，

$$\text{Cov}(\hat\beta) = \text{Cov}\left(\left(X^\prime X\right)^{-1} X^\prime Y\right) = \left(\left(X^\prime X\right)^{-1} X^\prime\sigma^2 X \left( X^\prime X \right)^{-1\prime} \right) = \sigma^2 \left(X^\prime X\right)^{-1}.$$

矩阵 $\left(X^\prime X\right)^{-1}$ 只有两行两列，对应于模型参数 $(a,b)$。的相关性$\hat a$ 与 $\hat b$ 与...的非对角线元素成比例 $(X^\prime X)^{-1},$根据克莱默法则，它与两列的点积成比例$X$。由于其中一列是全部$1$s，其点积与另一列（由 $X_i$）是他们的总和，我们发现

$\hat a$ 和 $\hat b$ 是不相关的，当且仅当 $X_i$ 是零。

这种正交条件常常被实现recentering的$X_i$（通过从中减去它们的均值）。虽然这不会改变估计的斜率$\hat b$，它的确会改变估计的截距 $\hat a$。这是否重要取决于应用程序。

---

该分析适用于多元回归：设计矩阵将具有 $p+1$ 列 $p$ 自变量（附加列包括 $1$s）和 $\beta$ 将是长度的向量 $p+1$，但除此之外，一切都会像以前一样进行。

用常规语言，两列 $X$当它们的点积为零时称为正交。当一列$X$ （例如列 $i$）与所有其他列正交，这是一个容易证明的代数事实，即行中所有非对角线的条目 $i$ 和列 $i$ 的 $(X^\prime X)^{-1}$ 为零（即 $ij$ 和 $ji$ 所有组件 $j\ne i$为零）。所以，

两个多元回归系数估计 $\hat\beta_i$ 和 $\hat\beta_j$ 每当设计矩阵的相应列中的任意一个（或两个）与所有其他列正交时，它们是不相关的。

许多标准实验设计包括选择自变量的值以使列相互正交。通过保证在收集任何数据之前“分离”最终的估计，这些估计将是不相关的。（当响应具有正态分布时，这意味着估计将是独立的，这大大简化了它们的解释。）