多重相关系数和确定系数几何解释

我对回归的多重相关性和确定系数的几何含义感兴趣或矢量记号， $R$ $R^2$ $y_i = \beta_1 + \beta_2 x_{2,i} + \dots + \beta_k x_{k,i} + \epsilon_i$

y = X β + ϵ

$\mathbf{y} = \mathbf{X \beta} + \mathbf{\epsilon}$

这里的设计矩阵有行和列，其中第一个是，它是1s的向量，对应于截距。 $\mathbf{X}$ $n$ $k$ $\mathbf{x}_1 = \mathbf{1}_n$ $\beta_1$

在维主题空间而不是维变量空间中，几何更有趣。定义帽子矩阵： $n$ $k$

H = {X (X^{⊤} X)}^{- 1} X^{⊤}

$\mathbf{H} = \mathbf{X \left(X^\top X \right)}^{-1} \mathbf{X}^\top$

这是的列空间上的正交投影，即由代表每个变量的向量跨越的原点的平坦部分，其中第一个是。然后将观测到的响应投影到平面上的“阴影”上，拟合值的向量，如果沿着投影的路径看，我们会看到残差向量形成了三角形的第三边。这应该为我们提供两种途径来对进行几何解释 $\mathbf{X}$ $k$ $\mathbf{x}_i$ $\mathbf{1}_n$ $\mathbf{H}$ $\mathbf{y}$ $\mathbf{\hat{y}} = \mathbf{Hy}$ $\mathbf{e} = \mathbf{y} - \mathbf{\hat{y}}$ $R^2$ ：

多重相关系数的平方，它定义为和之间的相关性。这将在几何上显示为角度的余弦。 $R$ $\mathbf{y}$ $\mathbf{\hat{y}}$
就矢量的长度而言：例如。 $SS_\text{residual} = \sum_{i=1}^{n}e_i^2 = \|\mathbf{e}\|^2$

我很高兴看到一个简短的说明，说明：

（1）和（2）的详细信息，
为什么（1）和（2）等价，
简而言之，几何学的见解如何使我们可视化基本属性 $R^2$ ，例如为什么当噪声方差变为0时将变为1。（毕竟，如果我们不能从可视化中直观地看出，那么它仅是a美丽的照片。）

我知道如果变量首先居中，这会更直接，这可以消除问题中的截距。但是，在大多数引入多元回归的教科书中，设计矩阵 $\mathbf{X}$ 就像我所列出的那样。当然，如果一个博览会深入到中心变量所跨越的空间，那是很好的，但是为了深入了解教科书的线性代数，将其与无中心情况下的几何变化联系起来非常有帮助。一个真正有见地的答案可能会解释当截取项被删除时，即当向量时，几何上到底发生了什么？ $\mathbf{1}_n$ 已从生成集中删除。我认为最后一点不能仅通过考虑中心变量来解决。

— 蠹虫
source

如果模型中有一个常数项，则位于的列空间中（也会在后面有用）。拟合的是观察到的在由该列空间形成的平面上的正交投影。这意味着残差向量垂直于平面，因此垂直于。考虑点积，我们可以看到，因此的分量必须加和为零。由于我们得出以下结论： $\mathbf{1_n}$ $\mathbf{X}$ $\bar{Y}\mathbf{1_n}$ $\mathbf{\hat{Y}}$ $\mathbf{Y}$ $\mathbf{e} = \mathbf{y} - \mathbf{\hat{y}}$ $\mathbf{1_n}$ $\sum_{i=1}^n e_i = 0$ $\mathbf{e}$ $Y_i = \hat{Y_i} + e_i$ $\sum_{i=1}^n Y_i = \sum_{i=1}^n \hat{Y_i}$ 因此拟合和观察到的响应均具有均值。 $\bar{Y}$

多元回归主题空间中的向量

图中的虚线代表和，它们是居中的向量观察和拟合的响应。的角度的余弦因此这些矢量之间的将是相关和，其定义为所述多个相关系数。这些向量与残差向量形成的三角形是直角的，因为位于平坦的位置，但是与该平面正交。因此： $\mathbf{Y} - \bar{Y}\mathbf{1_n}$ $\mathbf{\hat{Y}} - \bar{Y}\mathbf{1_n}$ $\theta$ $Y$ $\hat{Y}$ $R$ $\mathbf{\hat{Y}} - \bar{Y}\mathbf{1_n}$ $\mathbf{e}$

R = \cos (θ) = \frac{adj}{hyp} = \frac{‖ \hat{Y} - \bar{Y} 1_{n} ‖}{‖ Y - \bar{Y} 1_{n} ‖}

$R = \cos(\theta) = \frac{\text{adj}}{\text{hyp}} = \frac{\|\mathbf{\hat{Y}} - \bar{Y}\mathbf{1_n}\|}{\|\mathbf{Y} - \bar{Y}\mathbf{1_n}\|}$

我们也可以将毕达哥拉斯应用于三角形：

‖ Y - \bar{Y} 1_{n} ‖^{2} = ‖ Y - \hat{Y} ‖^{2} + ‖ \hat{Y} - \bar{Y} 1_{n} ‖^{2}

$\|\mathbf{Y} - \bar{Y}\mathbf{1_n}\|^2 = \|\mathbf{Y} - \mathbf{\hat{Y}}\|^2 + \|\mathbf{\hat{Y}} - \bar{Y}\mathbf{1_n}\|^2$

可能更熟悉如下：

\sum_{i = 1}^{n} (Y_{i} - \bar{Y})^{2} = \sum_{i = 1}^{n} (Y_{i} - {\hat{Y}}_{i})^{2} + \sum_{i = 1}^{n} ({\hat{Y}}_{i} - \bar{Y})^{2}

$\sum_{i=1}^{n} (Y_i - \bar{Y})^2 = \sum_{i=1}^{n} (Y_i - \hat{Y}_i)^2 + \sum_{i=1}^{n} (\hat{Y}_i - \bar{Y})^2$

这是平方和的分解。 $SS_{\text{total}} = SS_{\text{residual}} + SS_{\text{regression}}$

测定系数的标准定义为：

R^{2} = 1 - \frac{S S_{residual}}{S S_{total}} = 1 - \frac{\sum_{i = 1}^{n} (y_{i} - {\hat{y}}_{i})^{2}}{\sum_{i = 1}^{n} (y_{i} - \bar{y})^{2}} = 1 - \frac{‖ Y - \hat{Y} ‖^{2}}{‖ Y - \bar{Y} 1_{n} ‖^{2}}

$R^2 = 1 - \frac{SS_{\text{residual}}}{SS_{\text{total}}} = 1 - \frac{\sum_{i=1}^n (y_i - \hat{y}_i)^2}{\sum_{i=1}^n (y_i - \bar{y})^2} = 1 - \frac{\|\mathbf{Y} - \mathbf{\hat{Y}}\|^2}{\|\mathbf{Y} - \bar{Y}\mathbf{1_n}\|^2}$

当平方和可以被分割时，它需要一些简单的代数来表明这等同于“解释方差比”的表述，

R^{2} = \frac{S S_{regression}}{S S_{total}} = \frac{\sum_{i = 1}^{n} ({\hat{y}}_{i} - \bar{y})^{2}}{\sum_{i = 1}^{n} (y_{i} - \bar{y})^{2}} = \frac{‖ \hat{Y} - \bar{Y} 1_{n} ‖^{2}}{‖ Y - \bar{Y} 1_{n} ‖^{2}}

$R^2 = \frac{SS_{\text{regression}}}{SS_{\text{total}}} = \frac{\sum_{i=1}^n (\hat{y}_i - \bar{y})^2}{\sum_{i=1}^n (y_i - \bar{y})^2} = \frac{\|\mathbf{\hat{Y}} - \bar{Y}\mathbf{1_n}\|^2}{\|\mathbf{Y} - \bar{Y}\mathbf{1_n}\|^2}$

有一种从三角形中看到几何的方式，且代数最少。定义公式给出，使用基本三角函数可以将其简化为。这是和之间的链接。 $R^2 = 1 - \sin^2(\theta)$ $\cos^2(\theta)$ $R^2$ $R$

请注意，对于该分析而言，拟合一个截距项至关重要，因此位于列空间中。没有这个，残差将不会加到零，并且拟合值的平均值也不会与的平均值一致。在这种情况下，我们无法绘制三角形。平方和不会以毕达哥拉斯的方式分解；不会具有经常被引用的形式也不是的平方。在这种情况下，某些软件（包括）总共对使用不同的公式。 $\mathbf{1_n}$ $Y$ $R^2$ $SS_{\text{reg}}/SS_{\text{total}}$ $R$ R $R^2$

— 蠹虫
source

+1非常好的写作和人物。我很惊讶它只有我一个人孤单。

— 变形虫说恢复莫妮卡2014年

+1。请注意，答案的图形以“列空间X”，“ Y”，“ Ypred”为向量等，在多元统计中称为“（缩减的）主题空间表示形式”（请参见，在我使用过的地方还有其他链接））。

— ttnphns