与相关系数之间的关系

39

比方说，我有两个一维数组， $a_1$ 和 $a_2$ 。每个包含100个数据点。 $a_1$ 是实际数据， $a_2$ 是模型预测。在这种情况下， $R^2$ 值为：

R^{2} = 1 - \frac{S S_{r e s}}{S S_{t o t}} (1) .

$R^2 = 1 - \frac{SS_{res}}{SS_{tot}} \quad\quad\quad\quad\quad\ \ \quad\quad(1).$ 同时，这将等于相关系数的平方值，

R^{2} = (Correlation Coefficient)^{2} (2) .

$R^2 = (\text{Correlation Coefficient})^2 \quad (2).$ 现在，如果我交换两个：

a_{2}

$a_2$ 是实际的数据，和

a_{1}

$a_1$ 是模型预测。根据等式

(2)

$(2)$ ，由于相关系数无关紧要，因此

R^{2}

$R^2$ 值相同。然而，从等式

(1)

$(1)$ ，

S S_{t o t} = \sum_{i} (y_{i} - \bar{y})^{2}

$SS_{tot}=\sum_i(y_i - \bar y )^2$ 时，

R^{2}

$R^2$ 值将改变，因为

S S_{t o t}

$SS_{tot}$ 如果我们切换已经改变

y

$y$ 从

a_{1}

$a_1$ 到

a_{2}

$a_2$ ; 在此同时，

S S_{r e s} = \sum_{i} (f_{i} - \bar{y})^{2}

$SS_{res}=\sum_i(f_i-\bar y)^2$ 也不会改变。

我的问题是：这些如何相互矛盾？

编辑：

我想知道，等式中的关系会否。（2）如果不是简单的线性回归，即IV和DV之间的关系不是线性的（可以是指数/对数），则仍然成立？
如果预测误差的总和不等于零，这种关系是否还会成立？

correlation r-squared

— 肖恩·王
source

我发现此演示文稿非常有用且非技术性：google.com/…–

— ihadanny

19

会发生变化是正确的……但是您忘记了平方和的回归值也将发生变化的事实。因此，让我们考虑简单的回归模型，并将相关系数表示为 $SS_{tot}$ ，在这里我使用子索引来强调是自变量而是因变量的事实。显然，如果将与交换，则不变。我们可以很容易地证明，其中是平方和的回归总和。 $r_{xy}^2=\dfrac{S_{xy}^2}{S_{xx}S_{yy}}$ $xy$ $x$ $y$ $r_{xy}^2$ $x$ $y$ $SSR_{xy}=S_{yy}(R_{xy}^2)$ $SSR_{xy}$ 是的独立平方且是因变量的平方总和。因此： $S_{yy}$ $x$ $y$ 其中是相应的平方余数，其中是独立的，是因变量。请注意，在这种情况下，我们有和

R_{x y}^{2} = \frac{S S R_{x y}}{S_{y y}} = \frac{S_{y y} - S S E_{x y}}{S_{y y}},

$R_{xy}^2=\dfrac{SSR_{xy}}{S_{yy}}=\dfrac{S_{yy}-SSE_{xy}}{S_{yy}},$

S S E_{x y}

$SSE_{xy}$

x

$x$

y

$y$

S S E_{x y} = b_{x y}^{2} S_{x x}

$SSE_{xy}=b^2_{xy}S_{xx}$

（例如参见此处的方程（34）-（41）。）因此：

b = \frac{S_{x y}}{S_{x x}}

$b=\dfrac{S_{xy}}{S_{xx}}$

显然，以上方程相对于

和

是对称的。换句话说：

总结当改变

与

在简单回归模型，的分子和分母

R_{x y}^{2} = \frac{S_{y y} - \frac{S_{x y}^{2}}{S_{x x}^{2}} . S_{x x}}{S_{y y}} = \frac{S_{y y} S_{x x} - S_{x y}^{2}}{S_{x x} . S_{y y}} .

$R_{xy}^2=\dfrac{S_{yy}-\dfrac{S^2_{xy}}{S^2_{xx}}.S_{xx}}{S_{yy}}=\dfrac{S_{yy}S_{xx}-S^2_{xy}}{S_{xx}.S_{yy}}.$

x

$x$

y

$y$

R_{x y}^{2} = R_{y x}^{2} .

$R_{xy}^2=R_{yx}^2.$

x

$x$

y

$y$

将以

R_{x y}^{2} = \frac{S S R_{x y}}{S_{y y}}

$R_{xy}^2=\dfrac{SSR_{xy}}{S_{yy}}$

R_{x y}^{2} = R_{y x}^{2} .

$R_{xy}^2=R_{yx}^2.$

— 统计
source

R^{2} = r^{2}

$R^2 = r^2$

1

R^{2} = S S_{r e g} / S S_{t o t}

$R^2=SS_{reg}/SS_{tot}$

S S_{r e s} = \sum_{i} (f_{i} - \bar{y})^{2}

$SS_{res}=\sum_i(f_i-\bar y)^2$

S S_{t o t}

$SS_{tot}$

R^{2}

$R^2$ 被改变了。

— 肖恩·王

对于p变量高斯的一般情况，您碰巧有关于如何解决此问题的参考吗？

— JMB

26

$R^{2}$ $y_{i}$ $\hat{y}_{i}$

在以下链接下可以找到关于如何从观测值yi与拟合值y ^ i之间的平方皮尔逊相关系数得出确定系数R2的完整证明：

http://economictheoryblog.wordpress.com/2014/11/05/proof/

在我眼中，应该很容易理解，只需遵循以下单个步骤即可。我想看一下至关重要的是要了解两个关键人物之间的关系是如何工作的。

— 安德烈亚斯·迪比亚西（Andreas Dibiasi）
source

6

$R^2 = r^2 = Corr(x,y)^2$

R^{2} = C o r r (y_{e s t i m a t e d}, y_{o b s e r v e d})^{2}

$R^2 = Corr(y_{estimated},y_{observed})^2$

响应和拟合线性模型之间的相关性平方。

— 阿曼
source

5

$r$ $r^2$

$r$ $Y$ $X$ $X$ $Y$ $r$ $.30$

$r^2$ $r^2 = (\frac {cov}{\sigma_x \sigma_y})^2 = \frac {|cov|} {\sigma_x^2} \frac {|cov|} {\sigma_y^2}$ $r^2$ $\sqrt{prop*prop}$ $r$

$cov$ $\sigma_x^2$ $\sigma_y^2$ $cov$ $cov$ $\sigma_x^2$ $\sigma_y^2$ $\sigma_x \sigma_y$ $r^2$ $r$

$r$ $r^2$ $Y\text~X$ $X\text~Y$

— ttnphns
source

R^{2}

$R^2$

R^{2}

$R^2$

R^{2}

$R^2$

确定系数或R平方比r ^ 2宽泛，这仅与简单线性回归有关。请阅读Wikipedia en.wikipedia.org/wiki/Coefficient_of_determination。

— ttnphns 2014年

再次感谢！我确实知道。我的问题是：对于更复杂的回归，我是否仍可以对r值求平方以获得确定系数？

— 肖恩·王

1

对于“复杂回归”，您得到R平方，但没有得到r。

— ttnphns 2014年

1

$R^2=r^2$ $R^2$

x=rnorm(1000); y=rnorm(1000)              # store random data
summary(lm(y~x))                          # fit a linear regression model (a)
summary(lm(x~y))                          # swap variables and fit the opposite model (b)
z=lm(y~x)$fitted.values; summary(lm(y~z)) # substitute predictions for IV in model (a)

$R^2$ $R^2$

$R^2\ne r^2$ $R^2$ $r$ $\rho$

— 尼克·斯陶纳
source

1

R^{2} = - 0.1468

$R^2=–0.1468$

S S R > S S T

$SSR>SST$

- R^{2}

$-R^2$

R^{2}

$R^2$