在模型中添加二次项而不是线性项是否有意义？

57

我有一个（混合）模型，其中我的一个预测变量应该与该预测变量呈二次相关关系（由于实验操作）。因此，我只想将二次项添加到模型中。有两件事使我无法这样做：

我想我读过一些话，在拟合高阶多项式时，应始终包含低阶多项式。我忘了在哪里找到它，在我看过的文献中（例如Faraway，2002； Fox，2002），我找不到很好的解释。
当我同时添加线性和二次项时，两者都是有意义的。当我仅添加其中一个时，它们并不重要。但是，预测变量和数据之间的线性关系无法解释。

我的问题的上下文具体是使用的混合模型lme4，但是我想获得可以解释为什么是这样的答案，或者为什么不包括高阶多项式而不是低阶多项式的原因。

如有必要，我可以提供数据。

regression polynomial

— 亨里克
source

5

我认为该问题的答案可能会有所帮助。

6

是的，我同意Procrastinator的观点，而互动问题本质上是相同的考虑。关于这个主题，我们有几个高度投票的问题。除了Pro的建议之外，另请参见在回归模型中所有交互项是否都需要它们各自的项？而如果交互抹了我的回归直接影响？。

— 安迪W

感谢您提醒这些问题。从给出的答案来看，如果您有充分的先验理由仅包括二次项而本身没有错误，那么这似乎是一个不错的策略。剩下的问题是关于可伸缩性的问题（请参阅：stats.stackexchange.com/a/27726/442）。仅使用二次项时，是否应该在拟合之前将变量居中？

— 亨里克

1

@Henrik-我在您发布的链接中的答案是关于模型推断如何依赖于预测值的任意变化（例如均值居中）-实质性结论取决于如此任意的东西是不可取的，这就是为什么我对您的答案出于同样的原因，问题是“否”。

— 宏

2

二次方与线性的问题在概念上与交互作用完全不同，我认为不应将其视为重复项。

— gung-恢复莫妮卡

66

1.为什么要包括线性项？

引人注目的是，可以用两种方式来写二次关系：

ÿ = {一种}_{0} + {一种}_{1个} X + {一种}_{2} X^{2} = {一种}_{2} （ X - b ）^{2} + C

$y = a_0 + a_1 x + a_2 x^2 = a_2(x - b)^2 + c$

（其中，等于系数，我们得出和）。值对应于该关系的一个整体极值（在几何上，它位于抛物线的顶点）。 $-2a_2 b = a_1$ $a_2 b^2 + c = a_0$ $x=b$

如果不包括线性项，则可能性减小为 $a_1 x$

ÿ = {一种}_{0} + {一种}_{2} X^{2} = {一种}_{2} （ X - 0 ）^{2} + C

$y = a_0 + a_2 x^2 = a_2(x - 0)^2 + c$

（现在，显然，并且假定模型包含常数项）。也就是说，您强制。 $c = a_0$ $a_0$ $b=0$

鉴于此，问题＃1归结为您是否确定全局极值必须出现在。如果是，则可以安全地忽略线性项。否则，您必须包括它。 $x=0$ $a_1 x$

2.如何理解包含或排除术语的意义变化？

在https://stats.stackexchange.com/a/28493的相关主题中对此进行了详细讨论。

在当前情况下，的意义表示有曲率的关系和的意义表示是非零：它听起来像您需要包括两个术语（以及恒定，当然）。 $a_2$ $a_1$ $b$

— ub
source

1

谢谢胡伯。好答案。因此，如果我将理论极值的中心放在0（实际上是最小值）上，则可以省略线性项。这从根本上导致了一个非常重要的二次预测因子（没有线性预测因子）。

— 亨里克（Henrik）2012年

如果变量的线性和二次项都相关，我可以将它们都包含在模型中，还是应该排除一个（我假设它应该是二次项）？

— mtao

@Teresa没有一般的理由可以消除回归中的相关项。（如果是这样的话，曾经创建的绝大多数回归模型都将陷入困境！）与单独的两个术语相比，相互关联性强，对模型拟合没有任何意义的因素都可以简化为这些术语的子集。

— ub

@whuber，非常感谢！另外，对于逻辑回归模型，我使用比值比来估计效应大小，但仅使用线性项。当我具有线性和二次方程式时，可以使用相同的方法并以相同的方式解释结果吗？

— mtao

不完全的。原因是您不能分别更改线性和二次项。您必须考虑当稍微更改原始变量时响应将如何变化。

— ub

22

@whuber在这里给出了一个非常好的答案。我只想添加一点免费积分。该问题指出“预测变量和数据的线性关系无法解释”。这暗示了一个普遍的误解，尽管我通常是在另一端听到的（“平方（立方等）术语的解释是什么？”）。

当我们有一个具有多个不同协变量的模型时，通常可以为每个beta [term]提供自己的解释。例如，如果：

{\hat{平均绩点}}_{C Ø 升 升 Ë G Ë} = β_{0} + β_{1个} {平均绩点}_{H 一世 G H s C H Ø Ø 升} + β_{2} 班级 + β_{3} SAT考试 ，

$\widehat{\text{GPA}}_{college}=\beta_0+\beta_1\text{GPA}_{highschool}+\beta_2\text{class rank}+\beta_3\text{SAT},$

（GPA表示平均绩点；
等级是学生的GPA相对于同一高中其他学生的排名；
SAT表示“学业能力测验”是针对上大学的学生的一项标准，全国性测验）

那么我们可以为每个beta /术语分配不同的解释。举例来说，如果一个学生的高中GPA是1点高-所有其他条件相同-我们希望自己的大学GPA是高点。 $\beta_1$

重要的是要注意，但是，并非总是允许以这种方式解释模型。一种明显的情况是，某些变量之间存在相互作用，因为各个术语不可能不同，而其他所有参数保持不变，因此，相互作用术语也必将发生变化。因此，众所周知，当存在交互作用时，我们不会解释主要效果，而只会解释简单效果。

具有幂级数的情况直接相似，但不幸的是，似乎并未得到广泛理解。考虑下面的模型
（在这种情况下，。旨在表示一个典型的连续协变量）是不可能的变更，恕不也随之改变，并且反之亦然。简而言之，当模型中存在多项式项时，就不会对基于相同基础协变量的各种项进行单独的解释。在（

\hat{ÿ} = β_{0} + β_{1个} X + β_{2} X^{2}

$\hat{y}=\beta_0+\beta_1x+\beta_2x^2$

x

$x$

x

$x$

x^{2}

$x^2$ $x^2$ $x$ ，等）术语没有任何独立含义。 $x^{17}$ 一个事实，即

-power多项式项是在模型“显著”表示有

在有关的函数“弯曲”

和

。不幸的是，但不可避免的是，当存在曲率时，解释会变得更加复杂，并且可能会变得不太直观。为了评估变化

为

的变化，我们将不得不使用微积分。上述模型的导数为：

p

$p$

p - 1

$p-1$

x

$x$

y

$y$

\hat{y}

$\hat{y}$

x

$x$

这在预期值的瞬时变化率

作为

的变化，所有其他条件相同。这不像顶级模型的解释那么干净。重要的是，

的瞬时变化率取决于评估变化的的水平。另外，

的变化率是瞬时率。也就是说，它本身在从

到

整个间隔中不断变化

\frac{d ÿ}{d X} = β_{1个} + 2 β_{2} X

$\frac{dy}{dx}=\beta_1+2\beta_2x$

y

$y$

x

$x$

y

$y$ $x$

y

$y$

x_{o l d}

$x_{old}$

x_{n e w}

$x_{new}$ 。这仅仅是曲线关系的本质。

— gung-恢复莫妮卡
source

1

优秀的回应！这使我想起了chl用户在解释交互作用时提供的一些出色响应。他在此回复中提供了文章参考，“识别交互作用的最佳实践是什么？。并给出了一个很好的示例，在此响应中使用coplot以图形方式显示交互，两个连续变量之间是否可以交互？。

— 安迪W

1

对于Gung的回答，我只想说统计建模涉及噪声，该噪声会掩盖多项式回归模型中的细节。我认为Bill Huber提出的居中问题是一个严重的问题，因为在一个形式化中缺少一个线性项，而在另一个形式中它与二次项一起发生。信号中曲率的强度决定了需要高于一阶项，但实际上并没有告诉我们也需要线性项。

— 迈克尔·切尔尼克

7

$x=0$

$Y = b_0 + b_2(x - \bar{x})^2$ $\bar{x}$ $x$ $x=\bar{x}$

您需要澄清一下有关线性和二次项都有意义的说法。例如，对于该示例，SAS可以报告I型和/或III型测试。类型I在放入二次方之前测试线性。类型III使用模型中的二次方来测试线性。

— 埃米尔·弗里德曼
source

2

x^{2}

$x^2$

x = 0

$x=0$

x = \bar{x}

$x=\bar{x}$

x

$x$

x^{2}

$x^2$ 发生了。

— gung-恢复莫妮卡

另外，您可以通过说明用户名（可以使用“ at”符号）来引用用户的贡献。例如，在这种情况下，“ @ whuber的答案很正确……”（我同意这一观点。）

— gung-恢复莫妮卡

1

谢谢您，埃米尔（Emil）为这些提醒做出了贡献：它们都值得牢记。

— ub

3

Brambor，Clark和Golder（2006）（随附于互联网附录）对如何理解交互模型以及如何避免常见的陷阱有一个非常清晰的认识，包括为什么（几乎）总是包括低阶术语（交互模型中的“本构词”。

在指定乘法交互模型时，分析人员应包括所有构成性术语，除非在极少数情况下。用本构词来说，我们指的是构成交互项的每个元素。[..]

$X^2$ $XZJ$ $X$ $X^2$ $X$ $Z$ $J$ $XZ$ $XJ$ $ZJ$ $XZJ$

否则，可能会导致模型指定不足，从而导致估算结果有偏差。这可能会导致推断错误。

$Z$ $XZ$ $X$ $Z$ $\beta_0$ $\beta_1$ $\beta_3$

— 兰德罗尼
source