如何在多元回归中的预测变量之间划分r平方？

16

我刚刚读过一篇论文，其中的作者对两个预测变量进行了多元回归。总体r平方值为0.65。他们提供了一个表格，用于在两个预测变量之间划分r平方。该表如下所示：

            rsquared beta    df pvalue
whole model     0.65   NA  2, 9  0.008
predictor 1     0.38 1.01 1, 10  0.002
predictor 2     0.27 0.65 1, 10  0.030

在该模型中，R使用mtcars数据集运行时，总体r平方值为0.76。

summary(lm(mpg ~ drat + wt, mtcars))

Call:
lm(formula = mpg ~ drat + wt, data = mtcars)

Residuals:
    Min      1Q  Median      3Q     Max 
-5.4159 -2.0452  0.0136  1.7704  6.7466 

Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept)   30.290      7.318   4.139 0.000274 ***
drat           1.442      1.459   0.989 0.330854    
wt            -4.783      0.797  -6.001 1.59e-06 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 3.047 on 29 degrees of freedom
Multiple R-squared:  0.7609,    Adjusted R-squared:  0.7444 
F-statistic: 46.14 on 2 and 29 DF,  p-value: 9.761e-10

如何在两个预测变量之间划分r平方值？

— 卢西亚诺
source

1

这篇文章提供有关如何对进行分区的信息。

R^{2}

$R^{2}$

— COOLSerdash

8

这一评论可以简短而又不充分地代表一种观点，即如果不是危险的话，这往往是徒劳的。最好将模型的成功或失败视为预测因素（及其特定的功能形式，交互作用项等）的团队合作的结果，并应这样判断。自然地，我们大多数人都对预测变量的相对重要性感兴趣，这并不是胡说八道，但是，要对量化变量进行量化的尝试恰恰需要伴随着对这种演习的技术和哲学局限性的完整陈述。

— Nick Cox

5

您可以只获取两个独立的相关性并将它们平方或运行两个独立的模型并获得R ^ 2。仅当预测变量正交时，它们才会汇总。

— 约翰
source

2

“正交”，您是说这两个预测变量应该彼此不相关吗？

— 卢西亚诺

3

是的，不相关...这是它们求和的唯一方法。

— 约翰·

12

除John的答案外，您可能还希望获得每个预测变量的平方半偏相关。

不相关的预测变量：如果预测变量是正交的（即不相关），则平方的半部分相关将与平方的零阶相关相同。
相关的预测变量：如果预测变量相关，则平方半偏相关将代表给定预测变量所解释的唯一方差。在这种情况下，平方半相关的平方和将小于。该剩余的解释方差将表示由多个变量解释的方差。 $R^2$

如果您正在寻找R函数，则spcor()在ppcor包装中。

您可能还需要考虑更广泛的主题，即在多元回归中评估变量的重要性（例如，关于relaimpo软件包，请参见此页面）。

— 杰罗米·安格利姆
source

3

我在您的问题中添加了方差分解标记。这是其标签wiki的一部分：

一种常见的方法是将回归变量一一添加到模型中，并记录添加每个回归变量时增加。由于此值取决于模型中已经存在的回归变量，因此需要对回归变量可以进入模型的每个可能订单执行此操作，然后对订单平均。这对于小模型是可行的，但是对于大模型却在计算上是禁止的，因为可能的阶数为对于预测变量。 $R^2$ $p!$ $p$

Grömping（2007，The American Statistician）在评估变量重要性的背景下提供了概述和对文学的指导。

— S. Kolassa-恢复莫妮卡
source

顺序真的重要吗？我的意思y ~ a + b是和一样y ~ b + a，不是吗？是的，您需要计算y ~ a和 y ~ a + b以及 y ~ b和之间的差异 y ~ a + b，但是实际上不必运行 y ~ b + a，是吗？因此，您实际上只需要运行

模型（p稍微高一点是可行的）。请纠正我，如果我错了..

2^{p}

$2^p$

— naught101

R^{2}

$R^2$ aab

R^{2}

$R^2$ y~1y~ab

R^{2}

$R^2$ y~by~a+b

2^{p}

$2^p$

2!

$2!$

2^{p} = \sum_{q = 0}^{p} (\binom{p}{q})

$2^p=\sum_{q=0}^p{p\choose q}$

(\binom{p}{q})

${p\choose q}$

q

$q$

p

$p$

q = 0

$q=0$

q

$q$

q

$q$

\sum_{q = 1}^{p} q (\binom{p}{q})

$\sum_{q=1}^p q{p\choose q}$

2^{p}

$2^p$