为什么这些回归方差分析表相同？

我有两个相同Y的回归和三个级别的X。总体n = 15，X的每个组或级别中的n = 5。第一个回归将X视为分类，将指标变量分配给级别2和3一个作为参考。指示器/虚拟对象如下：如果级别= 2，则X1 = 1；否则，则为0；如果级别= 3，则X2 = 1；否则，则为0。

结果，我的拟合模型看起来像这样：y = b0 + b1（x1）+ b2（x2）

我运行回归，并且输出包括此方差分析表：

其余输出与此处无关。

好吧，现在我对相同的数据进行不同的回归。我放弃分类分析并将X视为连续的，但是我向方程式中添加了一个变量：X ^ 2，即X的平方。因此，现在我具有以下模型：y = b0 + b1（X）+ b2（X） ^ 2

如果我运行它，它将吐出与我上面显示的完全相同的方差分析表。为什么这两个回归会产生相同的表？

[这个小难题的贷方是加利福尼亚大学洛杉矶分校生物统计学系的托马斯·贝林。

以矩阵形式，您的模型采用通常的形式。 $E[Y]=X\beta$

第一个模型表示由行的第一组的元件在，对应于截距，2类的指示器，并且指示器为类别3它表示由所述第二组的元件行和的第三组元素。$(1,0,0)$$X$$(1,1,0)$$(1,0,1)$

第二个模型改为使用，和。$(1,1,1^2)=(1,1,1)$$(1,2,2^2)=(1,2,4)$$(1,3,3^2)=(1,3,9)$

我们将生成的模型矩阵称为和。它们是简单相关的：一个的列是另一个的列的线性组合。例如，让$X_1$$X_2$

$$V = \pmatrix{1&1&1 \\ 0&1&3 \\ 0&2&8}.$$

然后因为

$$\pmatrix{1&0&0 \\ 1&1&0 \\ 1&0&1} V = \pmatrix{1&1&1 \\ 1&2&4 \\ 1&3&9},$$

它遵循

$$X_1 V = X_2.$$

因此，模型本身与

$$X_1\beta_1 = E[Y] = X_2\beta_2 = (X_1V)\beta_2 = X_1(V\beta_2).$$

也就是说，第二个模型的系数必须与第一个模型的系数$\beta_2$

$$\beta_1 = V\beta_2.$$

因此，它们的最小二乘估计值也具有相同的关系。这表明模型具有相同的拟合度：它们只是以不同的方式表达它们。

由于两个模型矩阵的第一列相同，因此分解第一列和其余列之间的方差的任何ANOVA表都不会更改。但是，区分第二列和第三列的ANOVA表将取决于数据的编码方式。

在几何上（并且更抽象一些），列生成的的三维子空间与列生成的子空间一致。因此，模型将具有相同的拟合度。仅因为用两个不同的基数描述了空格，所以拟合的表达方式有所不同。 X 1 X $\mathbb{R}^{15}$$X_1$$X_2$

---

为了说明这一点，这里有与您一样的数据（但响应不同）和中生成的相应分析R。

set.seed(17)
D <- data.frame(group=rep(1:3, each=5), y=rnorm(3*5, rep(1:3, each=5), sd=2))

适合两个模型：

fit.1 <- lm(y ~ factor(group), D)
fit.2 <- lm(y ~ group + I(group^2), D)

显示其方差分析表：

anova(fit.1)
anova(fit.2)

第一个模型的输出是

              Df Sum Sq Mean Sq F value   Pr(>F)    
factor(group)  2 51.836  25.918  14.471 0.000634 ***
Residuals     12 21.492   1.791 

对于第二个模型是

           Df Sum Sq Mean Sq F value    Pr(>F)    
group       1 50.816  50.816 28.3726 0.0001803 ***
I(group^2)  1  1.020   1.020  0.5694 0.4650488    
Residuals  12 21.492   1.791  

您可以看到平方的残差总和是相同的。通过在第二个模型中添加前两行，您将获得相同的DF和平方和，由此可以计算出相同的均方根，F值和p值。

最后，让我们比较系数估计。

beta.1.hat <- coef(fit.1)
beta.2.hat <- coef(fit.2)

输出是

(Intercept) factor(group)2 factor(group)3 
  0.4508762      2.8073697      4.5084944 

(Intercept)       group  I(group^2) 
 -3.4627385   4.4667371  -0.5531225 

甚至截距也完全不同。 那是因为多元回归中任何变量的估计都取决于所有其他变量的估计（除非它们都相互正交，这两个模型都不是这种情况）。但是，请看乘法完成了什么：$V$

$$\pmatrix{1&1&1 \\ 0&1&3 \\ 0&2&8}\pmatrix{-3.4627385 \\ 4.4667371 \\-0.5531225} = \pmatrix{ 0.4508762 \\ 2.8073697 \\ 4.5084944 }.$$

配合确实与要求的一样。

简而言之，这两个模型都处于饱和状态，因为它们为X的所有三个级别提供了唯一的经验响应预测。对于模型1中的因子变量编码而言，这可能是显而易见的。对于二次趋势，有趣的是，二次公式可以插值任意3点。尽管对比度不同，但是在这两个模型中，针对仅拦截模型为零的全局测试都提供了相同的推论。