ANOVA比较多个组的平均值与ANOVA比较嵌套模型之间有什么关系？

到目前为止，我已经看到ANOVA以两种方式使用：

首先，在我的介绍性统计文本中，引入了ANOVA作为比较三个或更多组均值的一种方法，是对成对比较的改进，目的是确定一种均值是否具有统计学上的显着差异。

第二，在我的统计学习课文中，我已经看到ANOVA用于比较两个（或多个）嵌套模型，以确定使用模型2预测变量子集的模型1是否同样适合数据，或者是否完整模型2是上乘的。

现在，我认为这两者在某种程度上实际上是非常相似的，因为它们都在使用ANOVA测试，但是从表面上看，它们对我来说似乎完全不同。对于第一个方法，第一个用法比较三个或更多组，而第二个方法只能用于比较两个模型。有人请介意阐明这两种用途之间的联系吗？

在我的理解中，ANOVA的抽象直觉如下：一个分解观察变量在各个方向上的方差源并研究各自的贡献。更准确地说，是将身份图分解为投影的总和，并研究哪些投影/方向对解释方差有重要贡献，而哪些没有。理论基础是科克伦定理。

为简化起见，我将OP提到的第二种形式转换为上述框架。随后，我将第一种形式解释为第二种形式的特殊情况。

让我们考虑具有解释变量的回归模型（完整模型），并将其与具有K - J个变量的受限模型进行比较。WLOG，完整模型的最后J个变量不包括在受限模型中。方差分析回答的问题是$K$$K-J$$J$

“如果我们包含其他变量，是否可以解释观察到的变量中更多的方差”$J$？

通过比较前变量，下一个J变量和余数/无法解释的部分（平方的残差总和）的方差贡献来回答此问题。该分解（例如从科克伦定理中获得）用于构建F检验。因此，通过包含更多变量来分析受限模型的残差平方和（对应于H 0：与最后J个变量有关的所有系数均为零）的减少（通过包含更多变量），并获得F统计量 R S S r e s t r - $K-J$$J$$H_0:$ $J$ 如果该值足够大，则由附加J变量解释的方差是显着的。

$$\frac{ \frac{RSS_{restr} - RSS_{full}}{J} }{ \frac{RSS_{full}}{N-K} }$$ $J$

现在，OP提到的第一种形式被解释为第二种形式的特殊情况。考虑三个不同的组A，B，和C的装置，μ 乙，和μ Ç。的ħ 0：μ 阿 = μ 乙 = μ Ç通过比较方差测试通过在截距的回归（受限模型）与方差解释由全模型含有截距，A组的虚设和解释B组的哑元。所得的F统计量 R S S i n $\mu_A$$\mu_B$$\mu_C$$H_0: \mu_A = \mu_B = \mu_C$等效于Wikipedia上的ANOVA检验。分母等于组内的变化，分子等于组间的变化。如果组间的差异大于组内的差异，则人们会否定所有均值均相等的假设。

$$\frac{ \frac{RSS_{intercept} - RSS_{dummies}}{2} }{ \frac{RSS_{dummies}}{N-3} }$$

如果您正在执行单向方差分析以测试组之间是否存在显着差异，则隐式地在比较两个嵌套模型（因此只有一层嵌套，但仍处于嵌套状态）。

这两个模型是：

• $y_{ij}$$i$$j$$\hat{\beta}_0$ $$y_{ij} = \hat{\beta}_0 + \epsilon_i$$

• 模型1：通过组的估计平均值对值进行建模。

  $\hat{\beta_j}$

  $$y_i = \hat{\beta}_0 + \hat{\beta}_j + \epsilon_i$$

---

比较均值和对等模型与嵌套模型的示例：让我们从虹膜数据集中获取隔片长度（cm）（如果我们使用所有四个变量，我们实际上可以像Fisher在1936年所做的那样进行LDA或MANOVA）

观察到的总数和组均值是：

$$\begin{array} \\ \mu_{total} &= 5.83\\ \mu_{setosa} &= 5.01\\ \mu_{versicolor} &= 5.94\\ \mu_{virginica} &= 6.59\\ \end{array}$$

模型形式：

$$\begin{array}\\ \text{model 1: }& y_{ij} = 5.83 + \epsilon_i\\ \text{model 2: }& y_{ij} = 5.01 + \begin{bmatrix} 0 \\ 0.93 \\ 1.58 \end{bmatrix}_j + \epsilon_i\\ \end{array}$$

$\sum{\epsilon_i^2} = 102.1683$

$\sum{\epsilon_i^2} = 38.9562$

方差分析表将类似于（并隐式计算组的平方和之间的差，即表中具有2个自由度的63.212）：

> model1 <- lm(Sepal.Length ~ 1 + Species, data=iris)
> model0 <- lm(Sepal.Length ~ 1, data=iris)
> anova(model0, model1)
Analysis of Variance Table

Model 1: Sepal.Length ~ 1
Model 2: Sepal.Length ~ 1 + Species
  Res.Df     RSS Df Sum of Sq      F    Pr(>F)    
1    149 102.168                                  
2    147  38.956  2    63.212 119.26 < 2.2e-16 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

$$F = \frac{\frac{RSS_{difference}}{DF_{difference}}}{\frac{RSS_{new}}{DF_{new}}} = \frac{\frac{63.212}{2}}{\frac{38.956}{147}} = 119.26$$

---

示例中使用的数据集：

三种不同种类的鸢尾花的花瓣长度（厘米）

Iris setosa            Iris versicolor      Iris virginica
5.1                    7.0                    6.3
4.9                    6.4                    5.8
4.7                    6.9                    7.1
4.6                    5.5                    6.3
5.0                    6.5                    6.5
5.4                    5.7                    7.6
4.6                    6.3                    4.9
5.0                    4.9                    7.3
4.4                    6.6                    6.7
4.9                    5.2                    7.2
5.4                    5.0                    6.5
4.8                    5.9                    6.4
4.8                    6.0                    6.8
4.3                    6.1                    5.7
5.8                    5.6                    5.8
5.7                    6.7                    6.4
5.4                    5.6                    6.5
5.1                    5.8                    7.7
5.7                    6.2                    7.7
5.1                    5.6                    6.0
5.4                    5.9                    6.9
5.1                    6.1                    5.6
4.6                    6.3                    7.7
5.1                    6.1                    6.3
4.8                    6.4                    6.7
5.0                    6.6                    7.2
5.0                    6.8                    6.2
5.2                    6.7                    6.1
5.2                    6.0                    6.4
4.7                    5.7                    7.2
4.8                    5.5                    7.4
5.4                    5.5                    7.9
5.2                    5.8                    6.4
5.5                    6.0                    6.3
4.9                    5.4                    6.1
5.0                    6.0                    7.7
5.5                    6.7                    6.3
4.9                    6.3                    6.4
4.4                    5.6                    6.0
5.1                    5.5                    6.9
5.0                    5.5                    6.7
4.5                    6.1                    6.9
4.4                    5.8                    5.8
5.0                    5.0                    6.8
5.1                    5.6                    6.7
4.8                    5.7                    6.7
5.1                    5.7                    6.3
4.6                    6.2                    6.5
5.3                    5.1                    6.2
5.0                    5.7                    5.9

在多个模型之间进行比较时，使用ANOVA进行比较意味着测试至少在高阶模型中使用的系数（在低阶模型中不存在）中的至少一个系数是否明显不同于零。

这相当于说，高阶模型的残差之和明显小于低阶模型的残差之和。

因为使用的基本方程是

MSM/MSE

其中，MSM是低阶模型的残差平方的平均值（其中最低阶是目标变量的平均值，即截距）。

（http://www.stat.yale.edu/Courses/1997-98/101/anovareg.htm）

您可以阅读有关简历的类似主题，例如

如何使用方差分析进行两个模型的比较？

从我学到的

您可以使用ANOVA表来确定您的解释变量是否实际上对响应变量有重大影响，从而适合相应的模型。

$x_1$$x_2$$x_2$

$$y=\beta_0 + \beta_1x_1 + \beta_2x_2 + \epsilon$$ $$y=\beta_0 + \beta_1x_1 + \epsilon$$

$x_1$

这是我在R中工作的一个项目的ANOVA输出示例，在这里我测试了两个模型（一个带有可变天数，一个没有可变天数）：

如您所见，F检验的相应p值为0.13，大于0.05。因此，我们不能拒绝Days对Y没有影响的零假设。因此，我选择模型1而不是模型2。