多元回归中预测变量的重要性：部分与标准化系数

我想知道线性模型中部分与系数之间的确切关系是什么，我是否应该仅使用一个或两个来说明因素的重要性和影响。$R^2$

据我所知，summary我得到了系数的估计值，并且得到anova了每个因子的平方和-一个因子的平方和除以平方和加残差的和的比例为（以下代码位于中）。$R^2$R

library(car)
mod<-lm(education~income+young+urban,data=Anscombe)
    summary(mod)

Call:
lm(formula = education ~ income + young + urban, data = Anscombe)

Residuals:
    Min      1Q  Median      3Q     Max 
-60.240 -15.738  -1.156  15.883  51.380 

Coefficients:
              Estimate Std. Error t value Pr(>|t|)    
(Intercept) -2.868e+02  6.492e+01  -4.418 5.82e-05 ***
income       8.065e-02  9.299e-03   8.674 2.56e-11 ***
young        8.173e-01  1.598e-01   5.115 5.69e-06 ***
urban       -1.058e-01  3.428e-02  -3.086  0.00339 ** 
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 26.69 on 47 degrees of freedom
Multiple R-squared:  0.6896,    Adjusted R-squared:  0.6698 
F-statistic: 34.81 on 3 and 47 DF,  p-value: 5.337e-12

anova(mod)
Analysis of Variance Table

Response: education
          Df Sum Sq Mean Sq F value    Pr(>F)    
income     1  48087   48087 67.4869 1.219e-10 ***
young      1  19537   19537 27.4192 3.767e-06 ***
urban      1   6787    6787  9.5255  0.003393 ** 
Residuals 47  33489     713                      
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

“年轻”（0.8）和“城市”（-0.1，约前者的1/8，忽略“-”）的系数大小与解释的方差不匹配（“年轻”〜19500和“城市”〜 6790，即大约1/3）。

因此，我认为我需要缩放数据，因为我假设如果一个因子的范围比另一个因子的范围大得多，那么它们的系数将很难比较：

Anscombe.sc<-data.frame(scale(Anscombe))
mod<-lm(education~income+young+urban,data=Anscombe.sc)
summary(mod)

Call:
lm(formula = education ~ income + young + urban, data = Anscombe.sc)

Residuals:
     Min       1Q   Median       3Q      Max 
-1.29675 -0.33879 -0.02489  0.34191  1.10602 

Coefficients:
              Estimate Std. Error t value Pr(>|t|)    
(Intercept)  2.084e-16  8.046e-02   0.000  1.00000    
income       9.723e-01  1.121e-01   8.674 2.56e-11 ***
young        4.216e-01  8.242e-02   5.115 5.69e-06 ***
urban       -3.447e-01  1.117e-01  -3.086  0.00339 ** 
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 0.5746 on 47 degrees of freedom
Multiple R-squared:  0.6896,    Adjusted R-squared:  0.6698 
F-statistic: 34.81 on 3 and 47 DF,  p-value: 5.337e-12

anova(mod)
Analysis of Variance Table

Response: education
          Df  Sum Sq Mean Sq F value    Pr(>F)    
income     1 22.2830 22.2830 67.4869 1.219e-10 ***
young      1  9.0533  9.0533 27.4192 3.767e-06 ***
urban      1  3.1451  3.1451  9.5255  0.003393 ** 
Residuals 47 15.5186  0.3302                      
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1    

但这并没有真正的区别，部分和系数的大小（现在是标准化系数）仍然不匹配：$R^2$

22.3/(22.3+9.1+3.1+15.5)
# income: partial R2 0.446, Coeff 0.97
9.1/(22.3+9.1+3.1+15.5)
# young:  partial R2 0.182, Coeff 0.42
3.1/(22.3+9.1+3.1+15.5)
# urban:  partial R2 0.062, Coeff -0.34

因此，可以说“年轻”解释的方差是“城市”的三倍，因为“年轻”的部分是“城市”的三倍吗？$R^2$为什么“年轻”系数不是“城市”系数的三倍（忽略符号）？

我想这个问题的答案也会告诉我最初查询的答案：我应该使用部分还是系数来说明因素的相对重要性？（暂时忽略影响方向-标志-。）$R^2$

编辑：

偏eta平方似乎是我所谓的偏另一个名称。etasq {heplots}是一个有用的函数，可以产生相似的结果：$R^2$

etasq(mod)
          Partial eta^2
income        0.6154918
young         0.3576083
urban         0.1685162
Residuals            NA

简而言之，我不会在同一分析中同时使用部分和标准化系数，因为它们不是独立的。我认为使用标准化系数比较关系通常可能更直观，因为它们很容易与模型定义相关（即）。反过来，部分本质上是预测变量和因变量（dv）之间唯一共享方差的比例（因此对于第一个预测变量，它是局部相关性的平方）。此外，为了使误差很小，所有系数的部分 ÿ = β X - [R 2 - [R X 1 ÿ 。X 2。。。x n R $R^2$$Y = \beta X$$R^2$$r_{x_1y.x_2...x_n}$$R^2$ 倾向于1，因此它们在确定预测变量的相对重要性方面没有用。

---

效果大小定义

• 标准化系数 - 通过根据标准化变量估算模型而获得的系数（平均值= 0，标准偏差= 1）。$\beta_{std}$$\beta$

• 部分通过将预测变量添加到受约束的模型（没有预测变量的完整模型）来解释残差变化的比例。和...一样：$R^2$

  • 预测变量和因变量之间的局部相关性的平方，控制模型中的所有其他预测变量。。$R_{partial}^2 = r_{x_iy.X\setminus x_i}^2$
  • 部分类型III的平方和从预测变量到占预测变量的平方和与错误的比例 SS 效果/（SS 效应 + SS 错误$\eta^2$$\text{SS}_\text{effect}/(\text{SS}_\text{effect}+\text{SS}_\text{error})$

• - [R $\Delta R^2$ -中的差的约束，并且完整的模型之间。等于：$R^2$

  • 平方半相关系数 yX$r_{x_i(y.X\setminus x_i)}^2$
  • SS 效果/ SS 总- [R $\eta^2$类型III平方和的 -您在问题中计算为局部的值。$\text{SS}_\text{effect}/\text{SS}_\text{total}$$R^2$

所有这些都密切相关，但是它们如何处理变量之间的相关结构却有所不同。为了更好地理解这种差异，让我们假设我们有3个标准化的（平均值= 0，sd = 1）变量，它们的相关性是。我们将作为因变量，并将和作为预测变量。我们将根据相关性来表达所有效应大小系数，以便我们可以清楚地看到每个结构如何处理相关性结构。首先，我们将列出使用OLS估算的回归模型中的系数。系数的公式： - [R X ÿ， [R X Ž， - [R ÿ ž X ý ž X = β ý ý + β Ž Ž β Ŷ = - [R X ý - - [R ý ž ř ž $x,y,z$$r_{xy}, r_{xz}, r_{yz}$$x$$y$$z$$x=\beta_{y}Y+\beta_{z}Z$R2

$$\begin{align}\beta_{y} = \frac{r_{xy}-r_{yz}r_{zx}}{1-r_{yz}^2}\\ \beta_{z}= \frac{r_{xz}-r_{yz}r_{yx}}{1-r_{yz}^2}, \end{align}$$ 预测变量 的平方根等于：$R_\text{partial}^2$

$$\sqrt{R^2_{xy.z}} = \frac{r_{xy}-r_{yz}r_{zx}}{\sqrt{(1-r_{xz}^2)(1-r_{yz}^2)}}\\ \sqrt{R^2_{xz.y}} = \frac{r_{xz}-r_{yz}r_{yx}}{\sqrt{(1-r_{xy}^2)(1-r_{yz}^2)}}$$

所述由下式给出：$\sqrt{\Delta R^2}$

$$\sqrt{R^2_{xyz}-R^2_{xz}}= r_{y(x.z)} = \frac{r_{xy}-r_{yz}r_{zx}}{\sqrt{(1-r_{yz}^2)}}\\ \sqrt{R^2_{xzy}-R^2_{xy}}= r_{z(x.y)}= \frac{r_{xz}-r_{yz}r_{yx}}{\sqrt{(1-r_{yz}^2)}}$$

它们之间的区别是分母，对于和，分母仅包含预测变量之间的相关性。请注意，在大多数情况下（对于弱相关的预测变量），这两个变量的大小非常相似，因此该决定不会对您的解释产生太大影响。另外，如果与因变量具有相似的相关强度并且相关性不太强的预测变量，则的比率将与的比率相似。$\beta$$\sqrt{\Delta R^2}$ β小号吨$\sqrt{ R_\text{partial}^2}$$\beta_{std}$

回到您的代码。anovaR中的函数默认情况下使用I型平方和，而如上所述的部分应基于III型平方和（如果没有交互作用，则相当于II型平方和计算）。存在于您的模型中）。区别在于所解释的SS在预测变量之间的划分方式。在类型I SS中，第一个预测变量分配了所有已解释的SS，第二个仅分配了“剩余的SS”，第三个仅分配了剩余的SS，因此在调用中输入变量的顺序会更改其各自的SS 。解释模型系数时，这可能不是您想要的。$R^2$lm

如果在R中Anova的 car包装中使用II型平方和，那么方差分析的值将等于系数的值平方（因为）。这表明确实这些数量是紧密联系在一起的，不应单独评估。要在示例中调用II型平方和，请替换为。如果您包含一个交互项，则您需要将其替换为III型平方和，以使系数和部分R检验保持相同（只需在调用之前记住将对比度更改为和）即可。部分$F$$t$$F(1,n) = t^2(n)$anova(mod)Anova(mod, type = 2)options(contrasts = c("contr.sum","contr.poly"))Anova(mod,type=3)$R^2$是变量SS除以变量SS加上残差SS。这将产生与您在etasq()输出中列出的值相同的值。现在，您的方差分析结果的检验和（部分）和回归系数相同。$p$$R^2$

---

信用

• ttnphns中给出了部分相关的公式答案：多元回归还是部分相关系数？两者之间的关系

• 我在这里找到了半偏相关的公式：https : //www3.nd.edu/~rwilliam/stats1/x92.pdf
• 变形虫在对该问题的评论中提供了以下观点：所有预测变量的部分为1完全匹配，因此对于比较它们的相对重要性没有用。$R^2$

正如在其他几个答案和评论中已经解释的那样，该问题至少基于三个混淆：

1. 函数anova()使用顺序（也称为I型）平方和（SS）分解，具体取决于预测变量的顺序。对应于回归系数和检验的意义的分解为III型SS，可以从包装中使用函数获得。$t$Anova()car

2. 即使您使用III型SS分解，每个预测变量的部分也将不等于平方标准系数。对于两个不同的预测变量，这些值的比率也将不同。这两个值都是影响大小（或重要性）的度量，但是它们是不同的，非等效的度量。在大多数情况下，他们可能在质量上达成一致，但并非必须如此。$R^2$$\beta_\mathrm{std}$

3. 您所说的偏R平方不是偏R平方。部分定义为。相比之下，可以称为“ eta平方”（借用ANOVA的术语），或平方半相关，或半（在两个公式都以III类方式理解）。这个术语不是很标准。这是重要性的另一种可能的度量。SS 效果/（SS 效果 + SS 错误）SS 效果/ SS 合计R 2 SS $R^2$$\text{SS}_\text{effect}/(\text{SS}_\text{effect}+\text{SS}_\text{error})$$\text{SS}_\text{effect}/\text{SS}_\text{total}$$R^2$$\text{SS}_\text{effect}$

在澄清了这些混淆之后，仍然存在关于最有效的预测因子效应大小或重要性度量的问题。

---

在R中，有一个程序包relaimpo提供了几个相对重要的度量。

library(car)
library(relaimpo)
mod <- lm(education~income+young+urban, data=Anscombe)
metrics <- calc.relimp(mod, type = c("lmg", "first", "last", "betasq", "pratt", "genizi", "car"))

使用与Anscombe您的问题相同的数据集，得出以下指标：

Relative importance metrics: 

              lmg      last      first    betasq       pratt     genizi        car
income 0.47702843 0.4968187 0.44565951 0.9453764  0.64908857 0.47690056 0.55375085
young  0.14069003 0.1727782 0.09702319 0.1777135  0.13131006 0.13751552 0.13572338
urban  0.07191039 0.0629027 0.06933945 0.1188235 -0.09076978 0.07521276 0.00015460

其中一些指标已经讨论过：

• betasq是标准化的平方系数，与使用获得的值相同lm()。
• first是每个预测变量和响应之间的平方相关。这是等于当是I型SS当该预测器是先在模型。“收入”（0.446）的值与基于输出的计算相匹配。其他值不匹配。SS $\text{SS}_\text{effect}/\text{SS}_\text{total}$$\text{SS}_\text{effect}$anova()
• last当此预测变量最后添加到模型中时，增加。当是III SS类型时，这是；上面我称它为“半部分 ”。“ urban”的值（0.063）与基于输出的计算匹配。其他值不匹配。SS 效果/ SS 总SS 效果R $R^2$$\text{SS}_\text{effect}/\text{SS}_\text{total}$$\text{SS}_\text{effect}$$R^2$anova()

请注意，该程序包当前不提供这样的部分（但据作者说，将来可能会添加它[个人通讯]）。无论如何，通过其他方式进行计算并不困难。$R^2$

中还有四个指标relaimpo-如果relaimpo手动安装了该软件包，则还有另一个指标（第五个指标）：CRAN版本不包括该指标，因为与其作者潜在的冲突，这听起来很疯狂，他的方法已获得美国专利。我正在在线运行R，但是没有访问权限，因此，如果有人可以手动安装relaimpo，请将该附加指标添加到上面的我的输出中，以确保完整性。

有两个指标pratt可能是负面的（坏的），genizi而且还很模糊。

两种有趣的方法是lmg和car。

第一个是在预测变量所有可能排列上的平均值（此处为类型一世）。它来自Lindeman＆Merenda＆Gold 1980年的著作。SS $\text{SS}_\text{effect}/\text{SS}_\text{total}$$\text{SS}_\text{effect}$

第二种方法是在（Zuber＆Strimmer，2011）中引入的，它具有许多吸引人的理论特性。在先对预测变量进行标准化然后再通过ZCA / Mahalanobis变换进行美白处理后（即在最小化重构误差的同时进行美化），它是标准化系数的平方。

需要注意的是“年轻”到“城市”的贡献之比约为与（这比赛或多或少我们看到标准化系数和semipartial相关的），但它是与。我不清楚这种巨大差异的原因。878 ：$2:1$lmg$878:1$car

参考书目：

1. 在相对重要性参考文献上乌尔里克Grömping的网站-她是作者relaimpo。

2. 美国，葛隆平（2006）。R中线性回归的相对重要性：封装relaimpo。Journal of Statistics Software，第17期，第1期。

3. 美国，葛隆平（2007）。基于方差分解的线性回归相对重要度估计。美国统计师61，139-147。

4. Zuber，V.和Strimmer，K.（2010）。使用CAR分数进行高维回归和变量选择。遗传学和分子生物学的统计应用10.1（2011）：1-27。

5. U.Grömping（2015）。回归模型中变量的重要性。Wiley跨学科评论：计算统计，7（2），137-152。（在付费墙后面）

你写了：

我的问题是：我应该使用部分R²还是系数来显示每个因素对结果有多大影响？

重要的是不要在这里混淆两件事。首先，存在模型规格问题。lm算法假定满足OLS假设。除其他外，这意味着对于无偏估计，模型中不会丢失任何有效变量（除非它与所有其他回归变量都不相关，这是罕见的）。
因此，在寻找模型时，当然会对R²或调整后的R²产生额外影响。例如，可能有人认为添加回归变量直到调整的R²停止改善是适当的。诸如此类的逐步回归过程存在一些有趣的问题，但这不是主题。无论如何，我认为您选择模型是有原因的。

但是：对R²的这种额外影响与回归变量对自变量的实际影响或总影响并不完全相同，这恰恰是由于多列亲和力：如果删除回归变量，则其影响力的一部分现在将归因于其他回归变量与之相关。因此，现在没有正确显示真正的影响。

还有另一个问题：估计仅对存在所有其他回归变量的完整模型有效。该模型不是正确的，因此关于影响的讨论是没有意义的；或者它是正确的，那么您就不能消除回归变量，而仍然成功地使用OLS方法。

那么：您的模型和OLS的使用是否合适？如果是，则估计值会回答您的问题-它们是您对变量对回归和因变量的影响的字面最佳猜测。
如果不是，那么您的第一项工作就是找到正确的模型。为此，可以使用部分R 2。在本论坛中，对模型规格或逐步回归的搜索将产生许多有趣的方法。有效的方法取决于您的数据。

例如，关于线性回归系数和偏相关之间的差异，您可以阅读此内容。

但是，问题中表达的困惑似乎是另一种性质。它似乎是此统计软件包或该统计软件包使用的默认平方和类型（主题，在我们的网站上多次讨论）。线性回归使用ANOVA Type III SS估算中的所谓方法。在许多ANOVA程序中，这也是默认选项。在Rfunction中anova，对我来说（我不是R用户，所以我想）是默认计算方式为Type I SS（“顺序SS”，取决于模型中预测变量的指定顺序）。因此，您观察到的差异以及在对变量进行标准化（“缩放”）时并未消失的差异是因为您使用默认的Type I选项指定了ANOVA。

以下是在SPSS中获得的结果以及您的数据：

您可以在这些打印输出中选择，无论SS计算类型如何，参数（回归系数）都相同。您可能还会注意到，部分Eta平方[在本例中为SSeffect /（SSeffect + SSerror）和=部分R平方，因为预测变量是数字协变量]仅在类型为SS的情况下，效应表和系数表完全相同是III。当SS类型为I时，只有三个预测变量“ urban”中的最后一个保留相同的值（.169）；这是因为在预测变量的输入顺序中它是最后一个。对于III型SS，输入的顺序无关紧要，就像回归一样。顺便说一下，p值也可以观察到差异。虽然您在我的表格中看不到它，因为“签名”列中只有3个十进制数字，

您可能想了解有关ANOVA /线性模型中不同“ SS类型”的更多信息。从概念上讲，SS的III型或“回归”型是基本的和原始的。其他类型的SS（I，II，IV，甚至更多）是一种特殊的设备，可以更全面地估计效果，比相关参数的情况下回归参数所允许的浪费少。

通常，效果大小及其p值的报告比参数及其p值更重要，除非研究的目的是为未来创建模型。参数是允许您进行预测的参数，但是“影响”或“效果”可能比“线性预测的强度”更宽泛。为了报告影响力或重要性，除了部分Eta平方以外，其他系数也是可能的。一个就是遗忘系数：预测因子的重要性是将预测因子从模型中删除后的残差平方和，并进行归一化，以使所有预测因子的重要性值之和为1。