是否有一种优雅/有见地的方式来理解多个对象的线性回归身份

在线性回归中，我遇到了一个令人愉快的结果：如果我们拟合模型

$$E[Y] = \beta_1 X_1 + \beta_2 X_2 + c,$$

然后，如果我们标准化并居中 $Y$， $X_1$ 和 $X_2$ 数据，

$$R^2 = \mathrm{Cor}(Y,X_1) \beta_1 + \mathrm{Cor}(Y, X_2) \beta_2.$$

在我看来，这就像是2个变量的版本 $R^2 = \mathrm{Cor}(Y,X)^2$ 对于 $y=mx+c$ 回归，这是令人愉快的。

但是，我所知道的唯一证据无论如何都不具有建设性或洞察力（请参阅下文），但纵观它，似乎应该容易理解。

范例想法：

• 的 $\beta_1$ 和 $\beta_2$ 参数给我们的“比例” $X_1$ 和 $X_2$ 在 $Y$，因此我们采用各自比例的相关性...
• 的 $\beta$s是偏相关， $R^2$ 是平方多重相关...相关乘以部分相关...
• 如果我们先正交化，那么 $\beta$s将是 $\mathrm{Cov}/\mathrm{Var}$...这个结果在某种程度上讲几何意义吗？

这些线程似乎都无法引导我。任何人都可以对如何理解此结果提供清晰的解释。

---

不满意的证明

$$\begin{equation} R^2 = \frac{SS_{reg}}{SS_{Tot}} = \frac{SS_{reg}}{N} = \langle(\beta_1 X_1 + \beta_2 X_2)^2\rangle \\= \langle\beta_1^2 X_1^2\rangle + \langle\beta_2^2 X_2^2\rangle + 2\langle\beta_1\beta_2X_1X_2\rangle \end{equation}$$

和

$$\begin{equation} \mathrm{Cor}(Y,X_1) \beta_1 + \mathrm{Cor}(Y, X_2) \beta_2 = \langle YX_1\rangle\beta_1 + \langle Y X_2\rangle \beta_2\\ =\langle \beta_1 X_1^2 + \beta_2 X_1 X_2\rangle \beta_1 + \langle \beta_1 X_1 X_2 + \beta_2 X_2^2\rangle \beta_2\\ =\langle \beta_1^2 X_1^2\rangle + \langle \beta_2^2 X_2^2 \rangle + 2\langle \beta_1 \beta_2 X_1 X_2\rangle \end{equation}$$

QED。

帽子矩阵是幂等的。

（这是一种线性代数方式，它表示OLS是响应矢量在变量所跨越的空间上的正交投影。）

---

回想一下，根据定义

$$R^2 = \frac{ESS}{TSS}$$

哪里

$$ESS = (\hat Y)^\prime \hat Y$$

是（居中的）预测值的平方和

$$TSS = Y^\prime Y$$

是（居中的）响应值的平方和。标准化$Y$ 事先到单位方差还意味着

$$TSS = Y^\prime Y = n.$$

还记得估计的系数由

$$\hat\beta = (X^\prime X)^{-} X^\prime Y,$$

何处

$$\hat Y = X \hat \beta = X (X^\prime X)^{-} X^\prime Y = H Y$$

哪里 $H$ 是影响投影的“帽子矩阵” $Y$ 最小二乘拟合 $\hat Y$。它是对称的（从形式上很明显）和幂等。对于不熟悉此结果的人，这里是后者的证明。只是在括号内改写：

$$\eqalign{H^\prime H = H H &=\left( X (X^\prime X)^{-} X^\prime\right)\left(X (X^\prime X)^{-} X^\prime \right) \\ &= X (X^\prime X)^{-} \left(X^\prime X \right) (X^\prime X)^{-} X^\prime \\ &= X (X^\prime X)^{-} X^\prime = H. }$$

因此

$$R^2 = \frac{ESS}{TSS} = \frac{1}{n} (\hat Y)^\prime \hat Y = \frac{1}{n}Y^\prime H^\prime H Y = \frac{1}{n}Y^\prime H Y = \left(\frac{1}{n}Y^\prime X\right) \hat \beta.$$

中间的关键动作使用了帽子矩阵的幂等性。右边是您的神奇公式，因为$\frac{1}{n}Y^\prime X$ 是之间的相关系数的（行）向量 $Y$ 和的列 $X$。

以下三个公式是众所周知的，在许多有关线性回归的书中都可以找到它们。导出它们并不难。

$\beta_1= \frac {r_{YX_1}-r_{YX_2}r_{X_1X_2}} {\sqrt{1-r_{X_1X_2}^2}}$

$\beta_2= \frac {r_{YX_2}-r_{YX_1}r_{X_1X_2}} {\sqrt{1-r_{X_1X_2}^2}}$

$R^2= \frac {r_{YX_1}^2+r_{YX_2}^2-2 r_{YX_1}r_{YX_2}r_{X_1X_2}} {\sqrt{1-r_{X_1X_2}^2}}$

如果将两个Beta代入方程式 $R^2 = r_{YX_1} \beta_1 + r_{YX_2} \beta_2$，您将获得上面的R平方公式。

---

这是一个几何“洞察力”。以下是两张图片，显示了$Y$ 通过 $X_1$ 和 $X_2$。这种表示形式被称为主题空间中的向量变量（请阅读它的含义）。图片是在所有三个变量都居中之后绘制的，因此（1）每个向量的长度= st。各个变量的偏差以及每两个向量之间的（2）角度（其余弦）=各个变量之间的相关性。

$\hat{Y}$ 是回归预测（正交投影 $Y$ 到“平面X”上）； $e$ 是错误项； $cos \angle{Y \hat{Y}}={|\hat Y|}/|Y|$，多重相关系数。

左图描绘歪斜坐标的$\hat{Y}$ 在变量上 $X_1$ 和 $X_2$。我们知道，这些坐标与回归系数有关。即，坐标为：$b_1|X_1|=b_1\sigma_{X_1}$ 和 $b_2|X_2|=b_2\sigma_{X_2}$。

右图显示了相应的垂直坐标。我们知道这样的坐标与零级相关系数有关（这些是正交投影的余弦）。如果$r_1$ 是之间的相关性 $Y$ 和 $X_1$ 和 $r_1^*$ 是之间的相关性 $\hat Y$ 和 $X_1$ 那么坐标是 $r_1|Y|=r_1\sigma_{Y} = r_1^*|\hat{Y}|=r_1^*\sigma_{\hat{Y}}$。同样对于其他坐标，$r_2|Y|=r_2\sigma_{Y} = r_2^*|\hat{Y}|=r_2^*\sigma_{\hat{Y}}$。

到目前为止，这是线性回归向量表示的一般解释。现在，我们转向该任务，以说明它可能如何导致$R^2 = r_1 \beta_1 + r_2 \beta_2$。

首先，回想一下，在@Corone的问题中，提出了以下条件：当所有三个变量都标准化后，表达式为真，即不仅居中而且缩放到方差1。然后（即，隐含$|X_1|=|X_2|=|Y|=1$ 成为向量的“工作部分”），我们的坐标等于： $b_1|X_1|=\beta_1$; $b_2|X_2|=\beta_2$; $r_1|Y|=r_1$; $r_2|Y|=r_2$; 以及$R=|\hat Y|/|Y|=|\hat Y|$。在这些条件下，仅重绘上图的“ X平面”：

在图片上，我们有一对垂直坐标和一对偏斜坐标，它们的矢量相同 $\hat Y$ 长度 $R$。存在从偏斜（或向后）获得垂直坐标的一般规则：$\bf P = S C$，在哪里 $\bf P$是points X axes垂直矩阵的矩阵；$\bf S$是相同大小的偏斜矩阵；和$\bf C$是非axes X axes正交轴之间的角度（余弦）的对称矩阵。

$X_1$ 和 $X_2$ 是我们的情况下的轴， $r_{12}$是它们之间的余弦。所以，$r_1 = \beta_1 + \beta_2 r_{12}$ 和 $r_2 = \beta_1 r_{12} + \beta_2$。

替换这些 $r$通过表示 $\beta$@Corone的声明中的s $R^2 = r_1 \beta_1 + r_2 \beta_2$，你会明白的 $R^2 = \beta_1^2 + \beta_2^2 + 2\beta_1\beta_2r_{12}$，- 是正确的，因为这正是平行四边形（位于图片上）的对角线 如何通过其相邻边（数量）表示的方式$\beta_1\beta_2r_{12}$ 是标量产品）。

对于任何数量的预测变量X都是一样的。不幸的是，不可能用许多预测变量来绘制相似的图片。