当所有可能性都包含在混合效应模型中时,固定效应与随机效应


15

在混合效应模型中,建议包括所有可能的水平(例如,男性和女性)时,使用固定效应来估计参数。如果所包含的水平只是人群中的随机样本(可能的患者中已入组的患者),并且您想估算人群的均值和方差而不是均值,则建议使用随机效应来解释变量各个因素水平。

我想知道您是否在逻辑上总是以这种方式使用固定效果。考虑一项关于脚/鞋的尺寸如何随着发育而变化并与身高,体重和年龄相关的研究。 小号一世dË很显然,必须以某种方式将模型包括在模型中,以说明以下事实:多年来的测量值嵌套在给定的脚内并且不是独立的。此外,左右都是可能存在的所有可能性。另外,对于给定的参与者,他们的右脚大于(或小于)他们的左脚可能是非常正确的。但是,尽管所有人的脚之间的脚大小确实有所不同,但没有理由相信右脚平均会比左脚大。如果他们在您的样本中,那可能是由于您样本中的人的遗传因素所致,而不是右脚固有的原因。最后,s一世dË似乎是多余参数,不是你真正关心的。

让我注意,我编造了这个示例。可能没有什么好处。只是为了传达想法。就我所知,要在古石器中生存,必须有一个大右脚和一个小左脚。

在这样的情况下,它将使(更多/更少/任何)感纳入s一世dË模型作为随机效应?在这里使用固定效果与随机效果的利弊是什么?


考虑到因素的水平只有两个且只有两个水平,为什么还要将视为随机因素?问题设置中的随机性来自何处?
曾A

@AaronZeng,抛开我的例子的质量,这是我的问题。如果您有所有可能的等级,是否有任何理由用随机效果来表示等级。如果所讨论的因素的水平大于2怎么办?
gung-恢复莫妮卡

1
@gung我才回到这个话题-答案有帮助吗?如果不是,您还想学习什么?也许您有自己的答案(如果是,我很想了解有关此问题的更多信息!)?
蒂姆

2
自从我回到这里已经很长时间了,@ Tim。我很欣赏这两个答案(我赞成它们),但它们并不是我想要的(可能是由于问题陈述不够清晰)。我曾考虑过要根据本·博尔克(Ben Bolker)在不同地方发布的一些东西来汇编答案,但这将需要一些工作,而我却从未真正做到。不过,这仍然是我应该做的事情。谢谢你的轻推。
gung-恢复莫妮卡

Answers:


13

“固定”和“随机”效应的普遍问题是它们的定义方式不一致。安德鲁·盖尔曼(Andrew Gelman)引用了其中的几个:

(1)固定效应在每个人中都是不变的,随机效应是不同的。例如,在生长研究中,随机截距模型 一种一世和固定斜率对应于不同个体i的平行线,或者模型y i t = a i + b t。因此,Kreft和De Leeuw(1998)区分固定系数和随机系数。b一世ÿ一世Ť=一种一世+bŤ

(2)如果效果本身很有趣,则效果是固定的;如果对基础人群感兴趣,则效果是随机的。Searle,Casella和McCulloch(1992,第1.4节)深入探讨了这种区别。

(3)“当样本用尽人口时,相应的变量是固定的;当样本只占人口的一小部分(即微不足道)时,相应的变量是随机的。”(Green和Tukey,1960年)

(4)“如果假设效应是随机变量的实现值,则称为随机效应。”(LaMotte,1983年)

(5)固定效应是用最小二乘方(或更一般地说是最大似然)估计的,而随机效应是用收缩估计的(Robinson,1991年术语“线性无偏预测”)。该定义是多级建模文献(例如,参见Snijders和Bosker,1999,第4.2节)和计量经济学的标准定义。

并通知他们并不一致。在他的《使用回归和多层次/层次模型进行数据分析》一书中他通常避免使用这些术语,并且在他们的工作中,他着重于固定的或变化的群体截距和斜率,因为

固定效应可以看作是随机效应的特殊情况,其中较高级别的方差(在模型(1.1)中,这是 )设定为 0。因此,在我们的框架中,所有回归参数都是“随机”的,而术语“多级”是无所不包的。σα20

对于通常用于混合模型的贝叶斯框架,尤其如此,其中所有影响本身都是随机的。如果您正在考虑贝叶斯,那么您实际上并不关心“固定”效果和点估计,也不会将所有效果视为随机问题。

在这个主题上我读得越多,我就越相信我是一个关于我们可以(或应该)估计和我们只能预测(这在这里我也可以参考您自己的回答)的意识形态讨论。如果您对可能的结果进行了随机抽样,那么您将使用随机效应,因此您不必担心单个估计值,而是关注总体影响,然后关注单个个体。因此,问题的答案还取决于您是否想要可以根据给定的数据估算出固定的影响。如果您的数据中包含所有可能的级别,则可以估计固定效果-同样,例如在您的示例中,级别的数量可能很小,并且通常不适合估计随机效果,对此有一些最低要求

最佳情况方案论点

假设您拥有无限量的数据和无限的计算能力。在这种情况下,您可以想象将每个效果估计为固定的,因为固定效果会为您提供更大的灵活性(使我们能够比较各个效果)。但是,即使在这种情况下,我们大多数人还是不愿意为所有事物使用固定效果。

例如,假设您要对某个地区的学校的考试结果建模,并且拥有该地区所有100所学校的数据。在这种情况下,你可能威胁学校作为固定的-因为你对所有级别的数据-但实际上,你可能宁愿认为他们是随机。这是为什么?

  1. 一个原因是,通常在这种情况下,您对单个学校的效果不感兴趣(并且很难对所有学校进行比较),而是对学校之间的总体差异感兴趣。

  2. 这里的另一个论点是模型简约性。通常,您对“所有可能的影响”模型都不感兴趣,因此在模型中,您包含很少要测试和控制的其他可能的可变性来源的固定效果。这使得混合效果模型适合于统计建模的一般思维方式,您可以在其中估算某些东西并控制其他事情。使用复杂的(多级或分层)数据,您将具有许多影响,因此您威胁要以“固定”威胁和以“随机”威胁,以便对其进行控制。

  3. 在这种情况下,您也不会认为学校对结果有自己的独特影响,而会认为学校总体上具有一定的影响力。因此,这种论点是,我们认为无法真正估计个别学校的独特效果,因此我们威胁将其作为可能的学校效果的随机样本。

混合效果模型介于“固定的一切”和“随机的一切”方案之间。我们遇到的数据使我们降低了将所有事物估计为固定效应的期望,因此我们决定要比较哪些效应以及我们想要控制哪些效应,或者对它们的影响有一般的认识。这不仅关乎数据是什么,而且关乎建模时我们如何看待数据。


@Tim在这里有很多好处。我想知道您对OP中gung的榜样有何看法?在我的回答下,评论中进行了长时间的讨论,但我认为现在终于或多或少地解决了。很高兴知道您是否同意我的著作。
变形虫说恢复莫妮卡

@amoeba,这是一个有趣的答案(我已经+1了),我同意你的观点。我认为本质上gung是对的(与Gelman一样-总是对的:))没有一个答案。有大量文献和多种方法来使用混合效果模型,没有明显的区别。而且,有些人默认情况下总是对所有事物使用固定效果,有些人甚至在我们通常宁愿视为固定效果的情况下也尽可能使用随机效果...这也取决于您确切想要模型。
蒂姆

13

执行摘要

确实经常说,如果所有可能的因子水平都包含在混合模型中,则应将此因子视为固定效应。对于两个不同的原因,这不一定是正确的:

(1)如果电平的数量是大的,那么它可以是有意义的治疗[交叉]因子作为随机的。

我在这里与@Tim和@RobertLong都同意:如果一个因素具有模型中都包含的大量水平(例如,世界上所有国家;或一个国家中的所有学校;或者可能是被调查者等),那么将其视为随机对象并没有错---这可能更简化,可能会导致缩水等。

lmer(size ~ age + subjectID)                     # fixed effect
lmer(size ~ age + (1|subjectID))                 # random effect

(2)如果因子嵌套在另一个随机效应中,则必须将其视为随机因子,而与其级别数无关。

有在这个线程一个巨大的混乱(见注释),因为其他的答案是关于案例#1以上,但你给的例子是的例子不同的情况,即这种情况下,#2。这里只有两个级别(即根本不是“很大”!),它们确实耗尽了所有可能性,但它们嵌套在另一个随机效果内,从而产生嵌套的随机效果。

lmer(size ~ age + (1|subject) + (1|subject:side)  # side HAS to be random

您的示例的详细讨论

假想实验中的面和主题与标准分层模型示例中的班级和学校一样相关。也许每个学校(#1,#2,#3等)都有A类和B类,并且这两个类应该大致相同。您不会将A类和B类建模为具有两个级别的固定效果。这将是一个错误。但是您不会将A类和B类建模为具有两个级别的“分离”(即交叉)随机效果;这也是一个错误。相反,您可以将班级建模为学校内部的嵌套随机效应

请参阅此处:交叉与嵌套随机效应:它们有何不同?如何在lme4中正确指定它们?

一世=1ñĴ=12

尺寸一世Ĵķ=μ+α高度一世Ĵķ+β重量一世Ĵķ+γ年龄一世Ĵķ+ϵ一世+ϵ一世Ĵ+ϵ一世Ĵķ
ϵ一世ñ0σsübĴËCŤs2随机拦截每个主题
ϵ一世Ĵñ0σ主体2随机整数。用于侧面嵌套在主题中
ϵ一世Ĵķñ0σ噪声2错误项

如您所言,“没有理由相信右脚平均会比左脚大”。因此,右脚或左脚根本不应该有“全局”效应(固定或随机交叉);取而代之的是,每个对象都可以认为是“一只”脚和“另一只”脚,因此我们应该在模型中包括这种可变性。这些“一只”和“另一只”脚嵌套在对象内,因此嵌套了随机效果。

有关评论的更多详细信息。[9月26日]

我上面的模型将Side包含为Subject中的嵌套随机效果。这是@Robert建议的替代模型,其中Side是固定效应:

尺寸一世Ĵķ=μ+α高度一世Ĵķ+β重量一世Ĵķ+γ年龄一世Ĵķ+δĴ+ϵ一世+ϵ一世Ĵķ

我向@RobertLong或@gung提出挑战,以解释该模型如何处理针对同一主题的同一边的连续测量而存在的依存关系,即具有相同数据点的依存关​​系一世Ĵ组合的。

这不可以。

对于@gung的假设模型,Side作为交叉随机效应也是如此:

尺寸一世Ĵķ=μ+α高度一世Ĵķ+β重量一世Ĵķ+γ年龄一世Ĵķ+ϵ一世+ϵĴ+ϵ一世Ĵķ

它也无法考虑依赖关系。

通过模拟进行演示[10月2日]

这是R中的直接演示。

我生成了一个玩具数据集,其中连续五年对双脚测量了五个对象。年龄的影响是线性的。每个对象都有一个随机截距。每个对象的一只脚(左脚或右脚)都比另一只脚大。

set.seed(17)

demo = data.frame(expand.grid(age = 1:5,
                              side=c("Left", "Right"),
                              subject=c("Subject A", "Subject B", "Subject C", "Subject D", "Subject E")))
demo$size = 10 + demo$age + rnorm(nrow(demo))/3

for (s in unique(demo$subject)){
  # adding a random intercept for each subject 
  demo[demo$subject==s,]$size = demo[demo$subject==s,]$size + rnorm(1)*10

  # making the two feet of each subject different     
  for (l in unique(demo$side)){
    demo[demo$subject==s & demo$side==l,]$size = demo[demo$subject==s & demo$side==l,]$size + rnorm(1)*7
  }
}

plot(1:50, demo$size)

很抱歉我的R技巧很抱歉。这是数据的样子(多年来连续测量的每个五个点是一个人的一英尺;每个连续的十个点是同一人的两英尺):

在此处输入图片说明

现在我们可以拟合一堆模型:

require(lme4)
summary(lmer(size ~ age + side + (1|subject), demo))
summary(lmer(size ~ age + (1|side) + (1|subject), demo))
summary(lmer(size ~ age + (1|subject/side), demo))

所有模型都包含的固定效应age和的随机效应subject,但对待方式side有所不同。

  1. sideageŤ=1.8

  2. sideageŤ=1.4

  3. sideageŤ=37

这清楚地表明 side应将其视为嵌套随机效应。

最后,@ Robert建议在评论中包括side作为控制变量的全局效果。我们可以做到,同时保持嵌套的随机效果:

summary(lmer(size ~ age + side + (1|subject/side), demo))
summary(lmer(size ~ age + (1|side) + (1|subject/side), demo))

sideŤ=0.5side


2
在这个示例中,我真的不认为side可以满足任何通常的定义/准则,即何时应将因素视为随机还是固定。尤其是,超出因素的抽样水平进行推断是没有意义的。此外,只有2个级别的因子,将其视为固定似乎是进行建模的明确而直接的方法。
罗伯特·朗

罗伯特,谢谢您的答复。我要么完全困惑,要么我没有正确解释我的意思。将其side视为固定效果意味着假设其中一侧(例如,Right)总是比另一侧(Left)大一定数量。这对所有人来说都是相同的。这显然不是OP所考虑的。他写道,在某些人中,右派可能更大,而在其他人中,左派可能更大。但是,side由于相关错误,我们需要考虑原因。那为什么我们不能把它当作嵌套的随机效应呢?就像学校里的课程一样。
变形虫说恢复莫妮卡

我不知道这一定意味着这一点。它的意思是,在样本中,两边之间可能存在系统性差异(由于采样变化,可能会或可能不会出现伪影)。我更喜欢考虑将它作为固定的效果作为“控制”来实现非独立性,仅此而已-就像我们向模型添加混杂因素,甚至不希望尝试解释其系数一样。
罗伯特·朗

2
经过进一步思考,我赞成您的回答。您提出了一些非常有趣的观点。我现在没有时间去研究这个数学。我想找到一个可能的玩具数据集(如果您知道的话,请告诉我)
Robert Long

2
+1,再想一想,您似乎对这项研究的特殊性是正确的。我想知道,更大的观点是,如果将所有可能性都包括在内,那么对固定效应还是随机效应就没有一个单一的答案,而且每种情况都必须单独进行评估?
gung-恢复莫妮卡

7

要添加其他答案:

我认为您在逻辑上没有义务始终按照OP中所述的方式使用固定效果。即使没有满足何时将因子视为随机因素的常规定义/准则,当存在大量级别时,我可能还是倾向于将其建模为随机因素,因此将因子视为固定因子会消耗很多程度的自由并导致繁琐且不太简约的模型。


这似乎是一个合理的观点,并且我很高兴您对我的榜样不感到困惑。我从中收集到您的意见,并评论@amoeba的回答,“关键因素是:当存在大量水平时”(相对于“只有2个水平水平的因素”)。
gung-恢复莫妮卡

1
+1是因为我同意这一点,但让我发疯了,我未能解释我的观点,而且您和@gung都没有明白我的意思。对于所有对象,side将“固定”效果或“交叉随机效果”视为必然意味着假设其中一侧(例如,“右”)始终大于另一侧(“左”)。这显然不是gung在其OP中所写的内容,它指出“没有理由相信右脚平均会比左脚大”。我仍然将gung的示例视为嵌套随机效应的明确案例,完全类似于学校内的课堂。
变形虫说恢复莫妮卡

@amoeba有趣的一点,但我不同意。我会在评论中回答您的答案...
罗伯特·朗

4

如果您要说的是这样一种情况,即您知道某个感兴趣因素的所有可能水平,并且还具有估算影响的数据,那么绝对不需要用随机影响来表示水平。

您希望对某个因子设置随机效应的原因是,您希望推断该因子所有级别的效应,而这通常是未知的。为了进行这种推断,您假设所有级别的效果通常都形成正态分布。但是,根据您的问题设置,您可以估计所有级别的影响。因此,当然没有必要设置随机效应并施加其他假设。

就像这种情况,您能够获得总体的所有值(因此您知道真实的均值),但是您正在尝试从总体中获取大量样本,并使用中心极限定理来近似抽样分布,然后推论真实的意思。


2
一则评论:有时您拥有所有级别,但仍对它们使用随机效果。例如,您进行了全国性的教育研究,并获得了所有学校的数据,但仍然会对学校使用随机效应,而不是对每所学校使用虚拟变量。
蒂姆
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.