帽子矩阵的重要性是什么，

帽子矩阵的重要性是什么， $H=X(X^{\prime}X )^{-1}X^{\prime}$，在回归分析中？

只是为了更容易计算吗？

在线性回归研究中，基本出发点是数据生成过程 $\textbf{y= XB + u} \quad$ 哪里 $\textbf{u} \sim N(0,\sigma^2 \boldsymbol I)$ 和 $\textbf{X}$确定性的。最小化最小二乘准则后，找到一个估计器$\widehat {\textbf{B} }$ 对于 $\textbf{B}$，即 $\widehat {\textbf{B}}= ( \textbf{X} ' \textbf{X})^{-1}\textbf{X} '\textbf{y}$。在初始公式中插入估算器后，$\widehat {\textbf{y}}=\textbf{X}\widehat {\textbf{B}}$作为数据生成过程的线性模型。现在，可以用估算器代替$\widehat {\textbf{B}}$ 并得到 $\widehat {\textbf{y}}=\textbf{X}( \textbf{X} ' \textbf{X})^{-1}\textbf{X} '\textbf{y}.$

所以， $\textbf{H} = \textbf{X}( \textbf{X} ' \textbf{X})^{-1}\textbf{X} '$实际上是一个投影矩阵。假设您将所有变量$\textbf{X}$。变量是向量，跨越一个空间。因此，如果乘以$\textbf{H}$ 通过 $\textbf{y}$，您将观察值投影到 $\textbf{y}$ 到由以下变量跨越的空间 $\textbf{X}$。它给出了一个估计$\textbf{y}$这就是为什么它被称为帽子矩阵以及它如此重要的原因。毕竟，线性回归只不过是一个投影，而使用投影矩阵，我们不仅可以计算出$\textbf{y}$ 而且也 $\textbf{u}$ 并可以例如检查它是否真的是正态分布的。

我在互联网上发现了这张漂亮的照片，并且可以形象地看到这个投影。请注意，$\beta$ 用于代替 $\textbf{B}$。此外，图片强调误差项的向量与投影正交，因此与估计值不相关$\textbf{y}$

帽子矩阵非常有用，原因如下：

1. 而不是 $\widehat{y}=Z\widehat{\beta}$，我们明白了 $\widehat{y}=Py$ 哪里 $P$是帽子矩阵。这给了我们$\widehat{y}$ 是观测值的线性映射。
2. 从帽子矩阵 $P$，很容易计算残差 $\widehat{\epsilon}$。我们看到$\widehat{\epsilon}=y-\widehat{y}=y-Py=\left(I_n-P\right)y$。

这无非是找到Ax = b的“最接近”解，其中b不在A的列空间中。我们将b投影到列空间上，并求解Ax（hat）= p，其中p是b在b上的投影列空间。