随机效应和固定效应之间的数学区别是什么？

26

我在互联网上发现了很多有关随机效应和固定效应的解释。但是我找不到固定以下内容的来源：

随机效应和固定效应之间的数学区别是什么？

我的意思是模型的数学表述和参数的估算方法。

— 乔克尔
source

1

好吧，固定效应影响联合分布的均值，而随机效应影响方差和关联结构。您所说的“数学差异”到底是什么意思？您是否在询问可能性如何变化？你可以说得更详细点吗？

— 2012年

可能感兴趣的是：随机效应模型，固定效应模型和边际模型之间有什么区别？

— gung-恢复莫妮卡

1

还相关：固定效应模型，随机效应模型和混合效应模型之间有什么区别？

— 变形虫说恢复莫妮卡

1

这个问题似乎并不能区分其背景。面板数据经济学中的该术语与其他使用多层次模型的社会科学中的术语不同。这个问题需要进一步澄清。否则，这对于那些从任一背景到达这里而又不知道相关领域中存在替代定义的人来说都是一种误导。

— luchonacho

21

具有随机效应的最简单模型是具有分布效应的观测值给出的具有随机效应的单向ANOVA模型： $y_{ij}$

(y_{i j} ∣ μ_{i}) \sim_{iid} N (μ_{i}, σ_{w}^{2}), j = 1, \dots, J, μ_{i} \sim_{iid} N (μ, σ_{b}^{2}), i = 1, \dots, I .

$(y_{ij} \mid \mu_i) \sim_{\text{iid}} {\cal N}(\mu_i, \sigma^2_w), \quad j=1,\ldots,J, \qquad \mu_i \sim_{\text{iid}} {\cal N}(\mu, \sigma^2_b), \quad i=1,\ldots,I.$

这里的随机效应是。它们是随机变量，而在具有固定影响的ANOVA模型中它们是固定数。 $\mu_i$

例如，实验室中的三个技术人员中的每一个记录一系列测量，而是技术人员第个测量。将称为技术人员生成的序列的“真实平均值” ；这是一个稍微人为的参数，您可以看到是如果技术人员记录了大量测量值而获得的平均值。 $i=1,2,3$ $y_{ij}$ $j$ $i$ $\mu_i$ $i$ $\mu_i$ $i$

如果您有兴趣评估，，（例如，为了评估运算符之间的偏差），则必须使用具有固定效果的ANOVA模型。 $\mu_1$ $\mu_2$ $\mu_3$

当您对定义模型的方差和以及总方差感兴趣时，必须使用具有随机效应的ANOVA模型。方差是由一名技术人员生成的记录的方差（假定所有技术人员都相同），并且称为技术人员之间的方差。也许理想情况下，应该随机选择技术人员。 $\sigma^2_w$ $\sigma^2_b$ $\sigma^2_b+\sigma^2_w$ $\sigma^2_w$ $\sigma^2_b$

该模型反映了数据样本的方差公式的分解：在此处输入图片说明

总方差=均值方差内方差均值 $+$

这由具有随机效应的ANOVA模型反映：在此处输入图片说明

实际上，的分布由给定条件分布和的分布。如果计算的“无条件”分布，则可以找到。 $y_{ij}$ $(y_{ij})$ $\mu_i$ $\mu_i$ $y_{ij}$ $\boxed{y_{ij} \sim {\cal N}(\mu, \sigma^2_b+\sigma^2_w)}$

有关更好的图片，请参见幻灯片24和幻灯片25（您必须保存pdf文件才能欣赏叠加图，请不要观看在线版本）。

— 斯特凡·洛朗（StéphaneLaurent）
source

1

（+1）非常漂亮的人物！

— 变形虫说恢复莫妮卡2014年

1

谢谢@amoeba，我的博客上提供了我的惯性矩代码：stla.github.io/stlapblog/posts/Variance_inertia.html

— 史蒂芬·劳伦

我不明白如果我由许多技术人员进行了许多测量，为什么需要方差分析？我不仅可以使高斯适合每个技术人员的结果，而且对每个技术人员都获得和？您解决此问题的方法允许我做什么，而我的方法不允许？

μ

$\mu$

σ

$\sigma$

— TheChymera '16

@TheChymera ANOVA是常见的假设。通过这种假设，您将获得较短的置信区间w。但是您的评论是关于使用具有共同方差的方差分析与具有不同方差的方差分析的原因的，这里并不是真正的主题。

σ

$\sigma$

— 斯特凡洛朗

@StéphaneLaurent哪个方差分析是一个普通的假设？-而且，这个常见于什么？您说：“如果您有兴趣评估μ1，μ2，μ3（例如，以便评估算子之间的偏差），则必须使用具有固定效应的ANOVA模型。” 什么是方差分析方法，带有固定效果的公式，它是如何通知你没有通知你？另外，如何在不提供计算所需的所有信息的情况下为您提供的估计？（随机效应模型反之亦然）

σ

$\sigma$

σ

$\sigma$

μ_{i}

$\mu_i$

σ_{b}^{2}

$\sigma_b^2$

μ_{i}

$\mu_i$

σ_{w}^{2}

$\sigma_w^2$

— TheChymera

16

基本上，如果您将一个因素建模为随机因素，我认为最明显的区别是，这些效应被假定为从共同的正态分布中提取。

例如，如果您有某种关于成绩的模型，并且要考虑来自不同学校的学生数据，并且将学校建模为随机因素，则意味着您假设按学校划分的平均数是正态分布的。这意味着建模的两个来源是：学生成绩的校内变异性和学校之间的变异性。

这导致所谓的部分池化。考虑两个极端：

学校没有任何影响（学校之间的差异为零）。在这种情况下，不考虑学校的线性模型将是最佳的。
学校差异大于学生差异。然后，您基本上需要在学校级别而不是学生级别上工作（较少的样本数）。基本上，这是您使用固定效果说明学校情况的模型。如果每个学校的样本很少，这可能会出现问题。

通过估计两个级别的变异性，混合模型在这两种方法之间做出了明智的折衷。尤其是如果您的每所学校的学生人数不是那么大，这意味着您将如模型2所估计的那样，将单个学校的效果向模型1的整体平均值缩小。

这是因为模型表明，如果您有一所学校，其中包括两名学生，这比学校人口中的“正常”水平要好，那么这种影响的部分原因可能是学校在选择中很幸运的两个学生中。它不会盲目地这样做，而是取决于学校内部变异性的估计。这也意味着与大型学校相比，样本数量较少的效果水平更趋向于总体均值。

重要的是您需要在随机因素水平上具有可交换性。这意味着在这种情况下，学校（根据您的知识）可以互换，而您却一无所知，这使它们与众不同（除了某种ID）。如果您有其他信息，则可以将其作为其他因素包括在内，只要学校考虑其他信息就可以互换。

例如，假设居住在纽约的30岁成年人可以互换性别是有道理的。如果您有更多信息（年龄，种族，教育），则也应包括该信息。

OTH如果您与一个对照组和三个完全不同的疾病组进行了研究，则将模型作为随机模型进行建模是没有意义的，因为特定疾病不可互换。但是，许多人非常喜欢收缩效果，以至于他们仍然主张采用随机效应模型，但这是另一回事了。

我注意到我对数学没有太多的了解，但是基本上区别在于随机效应模型估计了学校和学生水平上的正态分布误差，而固定效应模型仅在误差上学生水平。尤其是，这意味着每所学校都有自己的水平，并且没有通过共同的分配与其他水平连接。这也意味着固定模型不允许外推到原始数据中未包含的学校学生，而随机效应模型则可以将其推断为学生水平和学校水平变化之和。如果您对这种可能性特别感兴趣，我们可以进行处理。

— 埃里克
source

1

（+1）个好答案，令人惊讶地投票不足。我注意到一个令人困惑的错字：“已排除”应读为“包含”。除此之外：将学校视为随机效应与固定效应之间的预期实际差异是什么？我了解固定处理将无法预测新学校的学生表现，但是可用数据的差异又如何呢？假设其他固定影响是学生的性别，种族和体重（无论如何）。将学校视为随机/固定学校是否会影响主要效果或感兴趣的互动的力量？还有其他区别吗？

— 变形虫说恢复莫妮卡2014年

3

@amoeba除了保持一致性，根据学生X与随机效应之间的相关程度，聚类数等，在随机性与固定效应模型中，基于学生水平系数的MSE可能或多或少有效。。克拉克和林茨2012具有仿真结果。

— 2016年

1

@conjugateprior哇，非常感谢您的评论！我阅读了链接的论文，这是我所见问题的最清晰的解释。我花了相当多的时间在此处阅读有关固定/随机效果的CV上的各种线程，但无法弄清楚何时应该使用一个线程另一个，为什么。阅读C＆L使我明白了很多事情。您是否想在简历上某处写一个答案，以介绍本论文和/或相关论文的摘要？我正在获得投票最多的[mixed-model]线程的赏金，也很乐意在此奖励您另一个。

— 变形虫说恢复莫妮卡的

@Erik，我编辑将“部分学校教育”更正为“部分合并”。我认为这是一个错字，但很抱歉，如果这是一个双关语！

— 变形虫说恢复莫妮卡

2

在生态环境中，此类影响是无法观察到的特定于个体的截距（或常数），但可以使用面板数据（随时间推移在相同单位上重复观察）来估算。固定效应估计方法允许特定单位的截距与独立解释变量之间的相关性。随机效应没有。使用更灵活的固定效果的代价是，您无法估算时变变量（例如性别，宗教或种族）的系数。

注意：其他领域都有自己的术语，这可能会造成混淆。

— 迪米特里（Dimitriy V. Masterov）
source

（-1）关于固定效应和随机效应之间的数学差异，这没有说什么

— Macro

1

@Macro同意。在此之前，了解经济术语是否是OP所需要的将很有帮助。我本应该更清楚一点。

— Dimitriy V. Masterov 2012年

好。在那种情况下，这也许更适合作为评论，您不是说吗？

— 2012年

陈述“使用更灵活的固定效果的代价是，您无法估计时不变的变量的系数”，这是不正确的。我只是进行了一次仿真，在该仿真中，您对个体进行了重复测量，并且使用了一个不会随时间变化的二进制预测变量。如果您为ID包含固定效应，为二进制预测变量包含一个固定效应，则可以肯定地估计二进制预测变量上的系数（尽管我承认，如果您没有进行大量重复测量，则估算的确有标准误差大）。

— 2012年

3

安德鲁·盖尔曼（Andrew Gelman）（不是经济学家）在ANOVA论文中列出了5个不同的定义：stat.columbia.edu/~gelman/research/published/banova7.pdf。

— Dimitriy V. Masterov 2012年

2

在标准软件包（例如R lmer）中，基本区别是：

固定效应通过最大似然估计（线性模型的最小二乘法）
随机效应由经验贝叶斯估计（线性模型具有收缩的最小二乘，其中收缩参数由最大似然选择）

如果您使用的是贝叶斯算法（例如WinBUGS），则没有真正的区别。

— 西蒙·伯恩
source

3

我强烈不同意没有区别。您可以使用所有系数具有不同先验的贝叶斯固定效应模型或存在超参数的贝叶斯混合模型进行拟合。

— Erik 2013年

如果您是贝叶斯人，则区别如下所示。

— conjugateprior

@Simon这是一个准确而清晰的答案。我应该早就提到提到了。

— Subhash C. Davar

-3

@笑话固定效应模型意味着研究（或实验）产生的效应大小是固定的，即对干预进行重复测量得出的效应大小相同。假定该实验的外部和内部条件不变。如果您在不同的条件下进行了多次试验，则您将具有不同的效果大小。一组效应量的均值和方差的参数估计可以通过以下方式实现：假定它们是固定效应，或者是随机效应（由超人口实现）。我认为，借助数学统计可以解决的问题。

— 苏巴什·达瓦尔
source