随机效应模型，固定效应模型和边际模型之间有什么区别？

我正在尝试扩展我的统计知识。我来自物理科学背景，采用“基于配方”的方法进行统计测试，我们说它是连续的，是否呈正态分布-OLS回归。

在阅读中，我遇到了以下术语：随机效应模型，固定效应模型，边际模型。我的问题是：

简单来说，它们是什么？
它们之间有什么区别？
他们有同义词吗？
传统测试（例如OLS回归，ANOVA和ANCOVA）在哪里分类？

只是尝试决定自学的下一步。

random-effects-model fixed-effects-model marginal

— N26
source

— chl 2012年

@gung：实际上，要授予悬赏的答案远远超过“主”主题中固定/随机效果之间差异的所有答案（在上面的评论中链接）。这个问题有40多个投票，一个25投票的公认答案，但是不幸的是，它不是很有帮助。我们是否应该合并这些线程？我想这将意味着OP N26将失去问题投票，但他们的帐户似乎仍然没有处于活动状态。不确定什么是最好的行动方案。

— 变形虫说恢复莫妮卡2014年

感谢@amoeba，我认为这也值得更多关注。在我看来，这个问题虽然标题相似，但实际上却稍有不同（也许是标题错误）。我无权合并这些文件。我只是在此处添加了链接到该线程的注释。为什么不提出在meta.CV上使用这些线程做什么的问题，我们将看到人们的想法？

— gung-恢复莫妮卡

Answers:

该问题已在本站点进行了部分讨论，如下所示，并且意见不一。

所有术语通常与纵向/面板/聚类/分层数据和重复度量（以高级回归和ANOVA的格式）相关，但在不同上下文中具有多种含义。我想根据我的知识用公式回答这个问题。

固定效应模型

在生物统计学中，固定效应通常与随机效应一起出现，在以下等式（*）中用。但是固定效应模型也被定义为假设观测值是独立的，例如横截面设置，如Hedeker和Gibbons的纵向数据分析（2006）。 $\color{red}{\boldsymbol\beta}$
在计量经济学中，固定效果模型可以写为其中对于每个主题（）是固定的（不是随机的）截距，或者对于每个重复的测量（），我们也可以具有的固定效果；表示协变量。 $y_{i j} = x_{i j}^{^{'}} β + u_{i} + ϵ_{i j}$ $y_{ij}=\boldsymbol x_{ij}^{'}\boldsymbol\beta+\color{red}{u_i}+\epsilon_{ij}$ $\color{red}{u_i}$ $i$ $u_j$ $j$ $\boldsymbol x_{ij}$
在荟萃分析中，固定效应模型假设所有研究的潜在效应都是相同的（例如Mantel和Haenszel，1959）。

随机效应模型

在生物统计学中，随机效应模型（Laird和Ware，1982年）可以写成其中遵循分布。表示固定效果的协变量，表示随机效果的协变量。 $\begin{matrix} (*) & y_{i j} = x_{i j}^{^{'}} β + z_{i j}^{^{'}} u_{i} + e_{i j} \end{matrix}$ $\tag{*} y_{ij}=\boldsymbol x_{ij}^{'}\color{red}{\boldsymbol\beta}+\boldsymbol z_{ij}^{'}\color{blue}{\boldsymbol u_i}+e_{ij}$ $\color{blue}{\boldsymbol u_i}$ $\boldsymbol x_{ij}$ $\boldsymbol z_{ij}$
在计量经济学中，随机效应模型可能仅指生物统计学中的随机拦截模型，即并且是标量。 $\boldsymbol z_{ij}^{'}=1$ $\boldsymbol u_i$
在荟萃分析中，随机效应模型假设研究之间存在异质效应（DerSimonian和Laird，1986）。

边际模型

通常将边际模型与条件模型（随机效应模型）进行比较，前者侧重于总体均值（以线性模型为例）而后者处理条件均值对于非线性模型（例如逻辑回归），边际模型与随机效应模型之间的回归系数的解释和尺度将有所不同。令，然后

E (y_{i j}) = x_{i j}^{^{'}} β,

$E(y_{ij})=\boldsymbol x_{ij}^{'}\boldsymbol\beta,$

E (y_{i j} | u_{i}) = x_{i j}^{^{'}} β + z_{i j}^{^{'}} u_{i} .

$E(y_{ij}|\boldsymbol u_i)=\boldsymbol x_{ij}^{'}\boldsymbol\beta + \boldsymbol z_{ij}^{'}\boldsymbol u_i.$

h (E (y_{i j} | u_{i})) = x_{i j}^{^{'}} β + z_{i j}^{^{'}} u_{i}

$h(E(y_{ij}|\boldsymbol u_i))=\boldsymbol x_{ij}^{'}\boldsymbol\beta + \boldsymbol z_{ij}^{'}\boldsymbol u_i$

E (y_{i j}) = E (E (y_{i j} | u_{i})) = E (h^{- 1} (x_{i j}^{^{'}} β + z_{i j}^{^{'}} u_{i})) \neq h^{- 1} (x_{i j}^{^{'}} β),

$E(y_{ij})=E(E(y_{ij}|\boldsymbol u_i))=E(h^{-1}(\boldsymbol x_{ij}^{'}\boldsymbol\beta + \boldsymbol z_{ij}^{'}\boldsymbol u_i))\neq h^{-1}(\boldsymbol x_{ij}^{'}\boldsymbol\beta),$ 除非平凡的链接函数是恒等链接（线性模型））或（无随机效应）。很好的例子包括广义估计方程（GEE； Zeger，Liang和Albert，1988）和边缘化多级模型（Heagerty和Zeger，2000）。

h

$h$

u_{i} = 0

$u_i=0$

— 兰德尔
source

谢谢，兰德尔还有一个关于“混合模型”术语的问题。据我了解，在生物统计学中，您的方程（*）将被称为混合模型，因为它包含随机效应和固定效应。那是对的吗？但是，计量经济学中是否也使用了“混合模型”一词？如果是这样，它指的是什么？

— 变形虫说恢复莫妮卡

是的，方程式（*）在（生物）统计中也称为混合模型。据我所知，如果经济学家对集群异质性感兴趣，可能不会将其称为“混合模型”，而是“随机效应模型”或“随机系数模型”。对我而言，唯一的区别是针对群集特定效果的假设，即固定的或随机的。

— 兰德尔2015年

@skan表示随机效应的协变量。它是一个向量，是转置。

z_{i j}

$\boldsymbol z_{ij}$

z_{i j}^{^{'}}

$\boldsymbol z_{ij}^{'}$

— 兰德尔

这是一个详细的示例。希望能帮助到你。@skan

— Randel

@skan不建议同时使用两者，都足够。这是一个完美的例子。

— 兰德尔

如果我在这里错了，请纠正我：

从概念上讲，有四种可能的影响：固定截距，固定系数，随机截距，随机系数。大多数回归模型是“随机效应”，因此它们具有随机截距和随机系数。与“固定效应”相反，使用了“随机效应”一词。

“固定效应”是指变量影响某些样本，而不是全部样本的情况。固定效果模型的最简单版本（从概念上来说）将是虚拟变量，用于具有二进制值的固定效果。这些模型具有单个随机截距，固定效应系数和随机变量系数。

从概念上讲，下一阶段的并发症是固定效应不是二进制的，而是名义上的，具有很多值。在这种情况下，生成的模型具有很多截距（每个标称值一个）。这是获得面板数据模型的经典“多行”的地方，固定效果变量的每个“选项”都具有自己的效果。将所有不同因数专用数据序列放入一个回归中（而不是将固定效应的每个因数作为其自身的回归）的好处是，您可以将所有不同效应的方差集中在一个方程式中，如此获得所有系数的更好（更确定）值。

复杂性的“第三层”是“固定效应”本身是一个随机变量时，除了其“固定效应”仅影响样本的一个子集外。此时，模型将具有随机截距，多个固定截距和多个随机变量。我认为这就是所谓的“混合效应”模型？

“混合效应”模型用于多层次建模（MLM），因为“固定效应”可用于将一个数据子集嵌套在另一个子集中。该分组可以具有多个层次，其中学生嵌套在教室内，嵌套在学校内。学校对教室和学生的教室都有固定的影响。（学校可能会对学生产生固定影响，具体取决于实验设计-不确定）

面板数据模型是“混合效果”模型，但是使用两个维度进行分组，通常是时间和某种类别。

— 莫克斯
source

不确定“固定效果涵盖选择的“集合”：A或B； ...随机效果包括体重之类的东西”是什么意思。您是说固定效应是离散变量，随机效应是连续变量？同样也不确定为什么“在同一事物上使用多个虚拟变量在统计上是不合适的”。计量经济学中的固定效应模型确实为每个“面板”都有一个虚拟变量。我也不同意“混合”模型……通过分组对“拦截”进行了固定，它们也不再具有随机拦截”。许多混合效应模型具有随机截距。

— 兰德尔

我的理解是不完善的。我将编辑我的回复，然后重试。

— Mox

变量是否可能同时显示为固定效应和随机效应？

— skan

< theanalysisfactor.com/mixed-models-predictor-both-fixed-random >说是。

— Mox