为什么在检验正态性时残差的相关性不重要？

当（即，来自线性回归模型）时， ，在这种情况下为残差是相关的而不是独立的。但是，当我们进行回归诊断并想测试假设 ，每本教科书都建议对残差使用Q–Q图和统计检验旨在测试某些。$Y = AX + \varepsilon$$Y$

$$\varepsilon \sim \mathcal{N}(0, \sigma^2 I) \hspace{1em} \Rightarrow \hspace{1em} \hat{e} = (I - H) Y \sim \mathcal{N}(0, (I - H) \sigma^2_{})$$ $\hat{e}_1, \ldots, \hat{e}_n$$\varepsilon \sim \mathcal{N}(0, \sigma^2 I)$$\hat{e}$$\hat{e} \sim \mathcal{N}(0, \sigma^2 I)$$\sigma^2 \in \mathbb{R}$

对于这些测试，残差是相关的而不是独立的无关紧要？通常建议使用标准化残差： 但这仅使它们同余，而不是独立的。

$$\hat{e}_i' = \frac{\hat{e}_i}{\sqrt{1 - h_{ii}}},$$

重新表述这个问题： OLS回归中的残差是相关的。我知道在实践中，这些相关关系是如此之小（大多数时候？总是？），在测试残差是否来自正态分布时可以忽略不计。我的问题是，为什么？

用你的记号 $H$ 是投影的列空间吗 $X$，即所有回归变量的子空间。因此$M:=I_{n}-H$ 是在所有回归变量所跨越的与子空间正交的所有事物上的投影。

如果 $X\in\mathbb{R}^{n\times k}$， 然后 $\hat{e}\in\mathbb{R}^{n}$ 如您所述，是奇异正态分布，并且元素是相关的。

错误 $\varepsilon$ 是不可观察的，并且通常不正交于由 $X$。为了论证，假设错误$\varepsilon\perp\operatorname{span}\left(X\right)$。如果这是真的，我们将有$y=X\beta+\varepsilon=\tilde{y}+\varepsilon$ 与 $\tilde{y}\perp\varepsilon$。以来$\tilde{y}=X\beta\in\operatorname{span}\left(X\right)$，我们可以分解 $y$ 并得到真实 $\varepsilon$。

假设我们有一个基础 $b_{1},\ldots,b_{n}$ 的 $\mathbb{R}^{n}$，第一个 $b_{1},\ldots,b_{k}$ 基向量跨子空间 $\operatorname{span}\left(X\right)$ 其余的 $b_{k+1},\ldots,b_{n}$ 跨度 $\operatorname{span}\left(X\right)^{\perp}$。一般来说，错误$\varepsilon=\alpha_{1}b_{1}+\ldots+\alpha_{n}b_{n}$ 将具有非零分量 $\alpha_{i}$ 对于 $i\in\left\{1,\ldots,k\right\}$。这个非零分量将​​与$X\beta$ 因此无法通过投影在 $\operatorname{span}\left(X\right)$。

因为我们永远都希望恢复真正的错误 $\varepsilon$ 和 $\hat{e}$ 相关单数 $n$维法线，我们可以变换 $\hat{e}\in\mathbb{R}^{n}\mapsto e^{*}\in\mathbb{R}^{n-k}$。在那里我们可以拥有

$$\begin{equation} e^{*}\sim\mathcal{N}_{n-k}\left(0,\sigma^{2}I_{n-k}\right) \textrm{,} \end{equation}$$ 即 $e^{*}$是非奇异的不相关且等方正态分布。残差$e^{*}$称为Theil的BLUS残差。

在关于回归扰动的正态性测试的简短文章中，您可以找到OLS和BLUS残差的比较。在测试的蒙特卡洛设置中，OLS残差优于BLUS残差。但这应该给您一些起点。