方差分析是否依靠矩量法而不是最大似然法?


13

我在不同地方看到提到ANOVA使用矩量法进行估算。

我对这个说法感到困惑,因为即使我不熟悉矩量法,但我的理解是,它不同于最大似然法,并且不等同于最大似然法。另一方面,方差分析可以看作是具有类别预测变量的线性回归,回归参数的OLS估计最大可能性。

所以:

  1. 什么使方差分析程序符合力矩方法?

  2. 鉴于ANOVA等同于带有分类预测变量的OLS,这不是最大可能性吗?

  3. 如果这两种方法在常规ANOVA的特殊情况下以某种方式等效,那么当差异变得重要时,是否存在某些特定的ANOVA情况?不平衡的设计?重复措施?混合(学科间+学科内)设计?


4
在简单的情况下,简单地说,我是指一次和二次方差分析,方差分析是从LRT的正态分布下以等方差得出的,因此使用的可能性最大。当然,对于正常情况,MLE和Mom估计量是重合的,因此区别并不重要。但是,在更复杂的环境中,我们不依赖于LRT,而是依靠OLS回归。如果我们对残差施加正交性,则OLS只是处于正态分布下的mle,并且在更一般的情况下是妈妈估计量。
JohnK

1
@JohnK,非常感谢您的评论,但是我很难理解其中的某些部分,尤其是第二部分:什么是ANOVA依赖OLS而不是LRT的“更复杂的设置”(以及原因)?为什么在这种“更一般的设置”下OLS不是MLE-我认为在任何ANOVA方案中总是假定正常错误?与残差的正交性是做什么的?如果您将评论扩展为答案,我们将不胜感激。
变形虫说恢复莫妮卡

2
@阿米巴。我编辑了答案,以解决您关于方差分析是一种矩估计方法的第一点意见。这仅适用于随机效果。
Placidia 2015年

Answers:


12

1978年我在牛津大学攻读硕士学位时,我第一次遇到了ANOVA。现代方法通过在多元回归模型中一起教授连续变量和分类变量,使年轻的统计学家很难理解正在发生的事情。因此,回到更简单的时代会有所帮助。

在其原始形式中,ANOVA是一种算术练习,通过该练习,您可以将平方总和分解为与处理,块,相互作用等相关的部分。在平衡设置中,具有直观含义的平方和(如SSB和SST)加起来就是调整后的平方和。所有这些工作都要归功于Cochran定理。使用Cochran,您可以在通常的零假设下计算出这些术语的期望值,然后F统计就从那里流出。

另外,一旦您开始考虑Cochran和平方和,就可以使用正交对比对平方和进行处理切块和切块。方差分析表中的每个条目都应具有统计学家感兴趣的解释,并得出可检验的假设。

我最近写了一个答案,指出了MOM和ML方法之间的差异。这个问题开始估计随机效应模型。在这一点上,传统的方差分析方法完全将最大似然估计与公司分开,并且影响的估计不再相同。当设计不平衡时,您也不会获得相同的F统计信息。

过去,当统计学家想从分割图或重复测量设计中计算随机效应时,随机效应方差是从ANOVA表的均方算出的。因此,如果您有一个方差为,并且剩余方差为,则可能使图的均方根的期望值(“ expected mean square”,EMS)为,其中图中的分割数为。您将均方值设置为其期望值,然后求解 σ 2 σ 2 + Ñ σ 2 p Ñ ^ σ 2 bσp2σ2σ2+nσp2nσb2^。方差分析产生了一种用于随机效应方差的矩估计器方法。现在,我们倾向于使用混合效应模型解决此类问题,并且通过最大似然估计或REML获得方差分量。

这样的方差分析不是矩量法的一种方法。它打开将平方和(或更一般地,响应的二次形式)拆分为产生有意义假设的分量。它强烈依赖于正态性,因为我们希望平方和具有卡方分布才能使F检验起作用。

最大似然框架更为笼统,适用于诸如平方和不适用的广义线性模型之类的情况。一些软件(如R)通过指定渐近线方差分布的似然比检验指定方差分析方法来引起混淆。可以证明使用“方差分析”一词是合理的,但是严格来说,其背后的理论是不同的。


2
单向和双向方差分析的F检验似然比检验,如果您不相信我,可以咨询Hogg和Craig,《数学统计入门》第9章。而且,用于正态回归的F检验也是一种LRT,目前已有很多参考文献。
JohnK

1
我会检查。现在,我已经删除了该段。
Placidia

1
+1,非常感谢您的回答。顺便说一下,正是您的链接答案触发了我的问题。你写的东西有很多我不太了解。我将在新年旅行,没有时间去思考,但是一旦我在一月份回来,我将回到这个话题。同时,我想再次鼓励@JohnK发布一个答案,以扩大他在评论中提出的观点。我特别感谢一些更具体的技术说明,也许还有一个具体示例。祝大家圣诞快乐,新年快乐!
变形虫说恢复莫妮卡

1
祝你圣诞快乐。在我的链接文章中,我只是在考虑随机效应方差的估计,这是传统方法中的MOM。抱歉,我的话听起来更笼统。
Placidia

2
1.5年后,我重新阅读了您的答案,并意识到这很清楚,所以我最终将其标记为已接受:-)干杯。
变形虫说莫妮卡(Monica)恢复
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.