多元回归中是否应该将部分总计为总?


12

以下是从mtcars数据集创建的模型:

> ols(mpg~wt+am+qsec, mtcars)

Linear Regression Model

ols(formula = mpg ~ wt + am + qsec, data = mtcars)

                Model Likelihood     Discrimination    
                   Ratio Test           Indexes        
Obs       32    LR chi2     60.64    R2       0.850    
sigma 2.4588    d.f.            3    R2 adj   0.834    
d.f.      28    Pr(> chi2) 0.0000    g        6.456    

Residuals

    Min      1Q  Median      3Q     Max 
-3.4811 -1.5555 -0.7257  1.4110  4.6610 

          Coef    S.E.   t     Pr(>|t|)
Intercept  9.6178 6.9596  1.38 0.1779  
wt        -3.9165 0.7112 -5.51 <0.0001 
am         2.9358 1.4109  2.08 0.0467  
qsec       1.2259 0.2887  4.25 0.0002  

该模型看起来不错,总为0.85。但是,在下图上看到的部分值不等于该值。它们加起来约为0.28。R2R2

> plot(anova(mod), what='partial R2')

在此处输入图片说明

所有部分总和与总之间是否有任何关系?分析是通过软件包完成的。R2R2rms


1
(除了变形虫的很好回答)关于标准化回归系数与偏相关stats.stackexchange.com/q/76815/3277的一个严峻问题
ttnphns

Answers:


11

没有。

理解给定预测变量的部分的一种方法是,它等于您首先对所有其他预测变量进行自变量回归,取残差并对其余预测变量进行回归后得到的。R2R2

因此,例如,如果所有预测变量都完全相同(共线),则可以具有不错的,但是所有预测变量的部分都将恰好为零,因为任何单个预测变量的附加解释能力为零。R2R2

另一方面,如果所有预测变量一起完美地解释了因变量,即,则每个预测变量的部分也将为,因为所有其他预测变量无法解释的内容都可以由其余变量完美解释。一。R2=1R21

因此,所有部分的总和可以轻松地低于或高于总。即使所有预测变量都是正交的,它们也不必重合。部分有点奇怪。R2R2R2

有关更多详细信息,请参见此长篇文章:多元回归中预测变量的重要性:部分与标准化系数R2


感谢您的明确解释。这也可能在以下问题的情况下发生:stats.stackexchange.com/questions/155447/…。那么,部分R ^ 2是否是单个预测变量重要性或贡献的合理指标?还是您会建议其他类似“比例R ^ 2”或“剩余R ^ 2”或“ chisq”或“ chisq减去df”或“比例chisq”或“ aic”的东西?所有这些均以rms封装提供。还是标准化系数?
rnso 2015年

是的,我不确定为什么将这个问题搁置为不清楚。我认为这很清楚(几乎是此副本的副本,但可以说不是完全如此)。关于预测变量重要性的合理指标:我强烈邀请您阅读我在答案中链接到的主题,这恰恰与此问题有关。我也有自己的答案,在这里我简要概述了几个指标。它们都有各种缺点。似乎没有(也不可能是)这个问题的完美解决方案。
变形虫说莫妮卡(Monica)恢复2015年

我把它抱不明确,因为没有任何解释被赋予了两个型号有什么不同。也许我认为针对特定情况需要答案是错误的。有了这个答案,你们俩是否都需要重新开放?
Scortchi-恢复莫妮卡

因此,部分R2在一个图内而不是在两个图之间是可比较的。同样,“部分R2”并没有真正表明对总R2的贡献,因此我认为这是一个错误的称呼。自从我在这里得到答案以来,现在不需要其他问题了。
rnso 2015年

我一直在支持所有答案。即使那样,我仍然接受了绝大多数问题。
rnso 2015年
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.