简单线性回归的样本相关性和R统计量的等价

10

通常认为，样本相关性的平方等于简单线性回归的确定系数。我无法亲自证明这一点，并希望对此事实的充分证明。 $r^2$ $R^2$

regression correlation

— 爱德华兹88
source

1

如果这是自学问题，请添加适当的标签。

— 安迪

这个问题还问为什么。

R^{2} = r^{2}

$R^2=r^2$

— 银鱼

8

表示法似乎有所不同：在简单的线性回归中，我通常看到带有符号的短语“样本相关系数” 是对观察到的和值之间的相关性的引用。这是我为该答案所采用的符号。我还看到了相同的短语和符号，用于表示观察到的与拟合之间的关系。在我的回答我已提及此为“多重相关系数”和使用的符号。这个答案解决了为什么确定系数既是的平方又是的平方的原因 $r$ $x$ $y$ $y$ $\hat y$ $R$ $r$ $R$ ，因此使用哪种用法都没有关系。

一旦建立了一些有关相关性和含义的简单事实，结果就会出现在一行代数中，因此您可能更喜欢跳到盒式方程式。我假设我们不必证明协方差和方差的基本属性，尤其是： $r^2$ $R$

Cov (a X + b, Y) = a Cov (X, Y)

$\text{Cov}(aX+b, Y) = a\text{Cov}(X,Y)$

Var (a X + b) = a^{2} Var (X)

$\text{Var}(aX+b) = a^2\text{Var}(X)$

注意，一旦我们知道协方差是对称的并且，则后者可以从前者派生。从这里我们得出另一个有关关联的基本事实。对于，只要和方差不为零， $\text{Var}(X)= \text{Cov}(X,X)$ $a \neq 0$ $X$ $Y$

\begin{aligned} 肺心病 （ 一个 X + b ， ÿ ） & = \frac{冠状病毒 （ 一个 X + b ， ÿ ）}{\sqrt{Var （ 一个 X + b ） Var （ ÿ ）}} \\ = \frac{一个}{\sqrt{{一个}^{2}}} \times \frac{冠状病毒 （ X ， ÿ ）}{\sqrt{Var （ X ） Var （ ÿ ）}} \\ 肺心病 （ 一个 X + b ， ÿ ） & = sgn （ 一个 ） 肺心病 （ X ， ÿ ） \end{aligned}

$\begin{align} \text{Cor}(aX+b, Y) &= \frac{\text{Cov}(aX+b, Y)}{\sqrt{\text{Var}(aX+b) \text{Var} (Y)}} \\ &= \frac{a}{\sqrt{a^2}} \times \frac{\text{Cov}(X, Y)}{\sqrt{\text{Var}(X) \text{Var} (Y)}} \\ \text{Cor}(aX+b, Y) &= \text{sgn}(a) \, \text{Cor}(X,Y) \end{align}$

这里是符号函数或符号函数：其值是，如果和如果。这也是事实，，如果，但这种情况下，不关注我们：将是一个常数，所以中分母，我们无法计算相关性。对称参数使我们对结果进行概括： $\text{sgn}(a)$ $\text{sgn}(a) = +1$ $a>0$ $\text{sgn}(a) = -1$ $a<0$ $\text{sgn}(a) = 0$ $a=0$ $aX+b$ $\text{Var}(aX+b) = 0$ $a, \, c \neq 0$

Cor (a X + b, c Y + d) = sgn (a) sgn (c) Cor (X, Y)

$\text{Cor}(aX+b, \, cY+d) = \text{sgn}(a) \, \text{sgn}(c) \, \text{Cor}(X,Y)$

我们不需要这个更通用的公式来回答当前问题，但我将其包括在内是为了强调情况的几何形状：它只是指出当变量被缩放或转换时相关性保持不变，而当变量为0时其正负号相反。反映出来。

我们还需要一个事实：对于包含常数项的线性模型，确定系数是多重相关系数的平方，它是观测响应与模型拟合值之间的相关性。这适用于多元回归和简单回归，但让我们将注意力集中在简单线性模型。来自观察，其结果如下被缩放，可能反射，并翻译的版本： $R^2$ $R$ $Y$ $\hat Y$ $\hat Y = \hat \beta_0 + \hat \beta_1 X$ $\hat Y$ $X$

[R = 肺心病 （ \hat{ÿ} ， ÿ ） = 肺心病 （ {\hat{β}}_{0} + {\hat{β}}_{1个} X ， ÿ ） = sgn （ {\hat{β}}_{1个} ） 肺心病 （ X ， ÿ ） = sgn （ {\hat{β}}_{1个} ） [R

$\boxed{R = \text{Cor}(\hat Y, Y) = \text{Cor}(\hat \beta_0 + \hat \beta_1 X, \, Y) = \text{sgn}(\hat \beta_1) \, \text{Cor}(X, Y) = \text{sgn}(\hat \beta_1) \, r}$

因此，，其中符号与估计斜率的符号匹配，从而保证不会为负。显然。 $R = \pm r$ $R$ $R^2 = r^2$

通过不必考虑平方和，使前面的论点变得更简单。为了实现这一目标，我跳过之间的关系的细节，这是我们通常认为的平方和的条款，，为此我们思考的厨房和观察到的反应相关。这些符号使关系似乎是重言式的，但事实并非如此，如果模型中没有拦截项，则关系会破裂！我给一个的梗概约之间的关系几何参数和从一个不同的问题采取：该图显示在绘制维对象空间 $R^2$ $R$ $R^2 = (R)^2$ $R$ $R^2$ $n$ ，因此每个轴（未显示）代表一个观察单位，变量显示为向量。设计矩阵是向量（对于常数项）和解释变量的观测向量，因此列空间是二维平面。 $\mathbf{X}$ $\mathbf{1_n}$

多元回归主题空间中的向量

拟合的是观察到的在列空间上的正交投影。这意味着残差向量垂直于平面，因此垂直于。点积为。由于残差总和为零，并且，则以便拟观察到响应均值。图中的虚线和 $\mathbf{\hat{Y}}$ $\mathbf{Y}$ $\mathbf{X}$ $\mathbf{e} = \mathbf{y} - \mathbf{\hat{y}}$ $\mathbf{1_n}$ $0 = \mathbf{1_n} \cdot \mathbf{e} = \sum_{i=1}^n e_i$ $Y_i = \hat{Y_i} + e_i$ $\sum_{i=1}^n Y_i = \sum_{i=1}^n \hat{Y_i}$ $\bar{Y}$ $\mathbf{Y} - \bar{Y}\mathbf{1_n}$ $\mathbf{\hat{Y}} - \bar{Y}\mathbf{1_n}$ 因此，不在中心所观察到的和拟合的响应矢量，角度的余弦它们之间是其相关性。 $\theta$ $R$

这些矢量与残差矢量形成的三角形是直角的，因为位于平坦的位置，但是与它正交。应用毕达哥拉斯： $\mathbf{\hat{Y}} - \bar{Y}\mathbf{1_n}$ $\mathbf{e}$

‖ ÿ - \bar{ÿ} {1个}_{ñ} ‖^{2} = ‖ ÿ - \hat{ÿ} ‖^{2} + ‖ \hat{ÿ} - \bar{ÿ} {1个}_{ñ} ‖^{2}

$\|\mathbf{Y} - \bar{Y}\mathbf{1_n}\|^2 = \|\mathbf{Y} - \mathbf{\hat{Y}}\|^2 + \|\mathbf{\hat{Y}} - \bar{Y}\mathbf{1_n}\|^2$

这只是平方和的分解，。确定系数的常规公式为在此三角形中为的确是的平方。您可能更熟悉公式，该立即给出，但请注意较为笼统，并将（如我们刚刚看到的）减少为 $SS_{\text{total}} = SS_{\text{residual}} + SS_{\text{regression}}$ $1 - \frac{SS_{\text{residual}}}{SS_{\text{total}}}$ $1 - \sin^2 \theta = \cos^2 \theta$ $R$ $R^2 = \frac{SS_{\text{regression}}}{SS_{\text{total}}}$ $\cos^2 \theta$ $1 - \frac{SS_{\text{residual}}}{SS_{\text{total}}}$ $\frac{SS_{\text{regression}}}{SS_{\text{total}}}$ 如果模型中包含常数项。

— 蠹虫
source

+1感谢您做出漂亮的数学和图形的努力！！

— 海涛杜

4

的被定义为平方样本相关系数：是等效的，因为它很容易使用以下命令进行验证：（请参阅Verbeek，第2.4节） $R^2$

{[R}^{2} = \frac{\hat{V} （ {\hat{ÿ}}_{一世} ）}{\hat{V} （ ÿ_{一世} ）} = \frac{1个 / （ ñ - 1个 ） \sum_{一世 = 1个}^{ñ} （ {\hat{ÿ}}_{一世} - \bar{ÿ} ）^{2}}{1个 / （ ñ - 1个 ） \sum_{一世 = 1个}^{ñ} （ ÿ_{一世} - \bar{ÿ} ）^{2}} = \frac{Ë 小号 小号}{Ť 小号 小号}

$R^2=\frac{\hat{V}(\hat{y}_i)}{\hat{V}(y_i)} =\frac{1/(N-1)\sum_{i=1}^N(\hat{y}_i-\bar{y})^2}{1/(N-1)\sum_{i=1}^N(y_i-\bar{y})^2}=\frac{ESS}{TSS}$

{[R}^{2} （ ÿ_{一世} ， {\hat{ÿ}}_{一世} ） = \frac{{（ \sum_{一世 = 1个}^{ñ} （ ÿ_{一世} - \bar{ÿ} ） （ {\hat{ÿ}}_{一世} - \bar{ÿ} ） ）}^{2}}{（ \sum_{一世 = 1个}^{ñ} （ ÿ_{一世} - \bar{ÿ} ）^{2} ） （ \sum_{一世 = 1个}^{ñ} （ {\hat{ÿ}}_{一世} - \bar{ÿ} ）^{2} ）}

$r^2(y_i,\hat{y}_i)=\frac{\left(\sum_{i=1}^N(y_i-\bar{y})(\hat{y}_i-\bar{y})\right)^2}{\left(\sum_{i=1}^N(y_i-\bar{y})^2\right)\left(\sum_{i=1}^N(\hat y_i-\bar{y})^2\right)}$

\hat{V} （ ÿ_{一世} ） = \hat{V} （ {\hat{ÿ}}_{一世} ） + \hat{V} （ Ë_{一世} ）

$\hat V(y_i)=\hat V(\hat y_i)+\hat V(e_i)$

— 塞尔吉奥
source

您能否添加更多详细信息。我一直在试图证明这一点，但是没有成功……

— 一位老人在海里。