在混合效果模型中，什么时候我不应该*允许固定效果随随机效果的水平而变化？

给定一个预测变量（P），一个随机效应（R）和一个固定效应（F），就可以拟合两个*混合效应模型（lme4语法）：

m1 = lmer( P ~ (1|R) + F )
m2 = lmer( P ~ (1+F|R) + F)

据我了解，第二种模型是允许固定效应随随机效应的水平而变化的模型。

在我的研究中，我通常采用混合效应模型来分析来自多个人类参与者的实验数据。我将参与者建模为随机效应，将实验操作建模为固定效应。我认为先验的是让固定效果影响实验性能的程度因参与者而异。但是，我很难想象在什么情况下我不应该也不应该让固定效果随随机效果的水平而变化，所以我的问题是：

一个当应该不是允许固定效应跨越的随机效应水平变化？

我不是混合效果建模方面的专家，但是如果在层次回归建模上下文中对此问题进行重新表述，则该问题更容易回答。因此，我们的观察有两个索引和其中索引代表类，类代表成员。分层模型使我们适合线性回归，其中系数随类的不同而变化：$P_{ij}$$F_{ij}$$i$$j$

$$Y_{ij}=\beta_{0i}+\beta_{1i}F_{ij}$$

这是我们的一级回归。对第一级回归系数进行第二级回归：

$$\begin{align*} \beta_{0i}&=\gamma_{00}+u_{0i}\\ \beta_{1i}&=\gamma_{01}+u_{1i} \end{align*}$$

当我们将其替换为第一级回归时，我们得到

$$\begin{align*} Y_{ij}&=(\gamma_0+u_{0i})+(\gamma_{01}+u_{1i})F_{ij}\\ &=\gamma_0+u_{0i}+u_{1i}F_{ij}+\gamma_{01}F_{ij} \end{align*}$$

这里是固定的效果和是随机效应。混合模型估计和方差。$\gamma$$u$$\gamma$$u$

我写下的模型对应于lmer语法

P ~ (1+F|R) + F

现在，如果我们将没有随机项的情况下，我们得到$\beta_{1i}=\gamma_{01}$

$$\begin{align*} Y_{ij}=\gamma_0+u_{0i}+\gamma_{01}F_{ij} \end{align*}$$

对应于lmer语法

P ~ (1|R) + F

因此，现在的问题变成了何时可以从第二级回归中排除误差项？规范的答案是，当我们确定第二级回归中的回归变量（此处没有任何回归变量，但可以将它们包括在内，它们在类中自然是恒定的）时，就可以充分解释各类之间系数的方差。

因此，在这种特殊情况下，如果系数不变，或者的方差很小，我们应该接受这样的想法，即我们可能会更好地使用第一个模型。$F_{ij}$$u_{1i}$

注意。我只给出了代数解释，但我认为牢记这一点很容易想到特定的应用示例。

您可以将“固定效应”视为方差成分为零的“随机效应”。

因此，为什么不让固定效应发生变化的简单答案，不足以证明“足够大”的方差成分。证据应来自先验信息和数据。这符合基本的“ occam剃刀”原理：不要使模型变得比需要的复杂。

我倾向于以以下方式考虑线性混合模型，写出如下的多元回归：

$$Y=X\beta+Zu+e$$

因此是模型的“固定”部分，是“随机”部分，是OLS样式残差。对于“随机效应”方差参数和我们有。这给出了标准结果，这意味着：$X\beta$$Zu$$e$$u\sim N(0,D(\theta))$$\theta$$e\sim N(0,\sigma^{2}I)$$(Zu+e)\sim N(0,ZD(\theta)Z^{T}+\sigma^{2}I)$

$$Y\sim N(X\beta,ZD(\theta)Z^{T}+\sigma^{2}I)$$

将其与OLS回归（）进行比较，我们得到：$Z=0$

$$Y\sim N(X\beta,\sigma^{2}I)$$

因此，模型的“随机”部分可以看作是指定有关模型中噪声或误差分量的相关结构的先验信息的方式。OLS基本上假设，即使我们确定地知道了模型的固定部分，在一种情况下来自模型固定部分的任何一个错误也无法预测其他错误。基本上，添加随机效应是指您认为某些错误可能对预测其他错误很有用。

这是一个很老的问题，给出了很好的答案，但是我认为它可以从一个新的答案中受益，以解决更务实的观点。

什么时候不应该允许一种固定效果随随机效果的不同而变化？

我不会处理其他答案中已经描述的问题，而是会参考现在著名的文章，尽管我宁愿说Barr等人（2013年）的“臭名昭著”论文也常被称为“保持最大”。

Barr，DJ，Levy，R.，Scheepers，C。和Tily，HJ，2013。用于确认假设检验的随机效应结构：保持最大。记忆与语言杂志，68（3），255-278页。

在本文中，作者认为，应允许所有固定效应随分组因子（随机截距）的不同而变化。他们的论点是颇为引人注目-基本上由未让他们有所不同，它是在模型上施加约束。在其他答案中对此进行了很好的描述。但是，这种方法存在潜在的严重问题，Bates el al（2015）对此进行了描述：

Bates，D.，R。Kliegl，S。Vasishth和H.，Baayen，2015年。简约混合模型。arXiv预印本arXiv：1506.04967

值得注意的是，贝茨是lme4R中拟合混合模型的软件包的主要作者，这可能是此类模型中使用最广泛的软件包。Bates等人指出，在许多实际应用中，数据根本不支持最大的随机效应结构，这通常是因为每个聚类中对于相关变量的观测数量不足。这可以在无法收敛或随机效应奇异的模型中体现出来。这个站点上有关此类模型的大量问题证明了这一点。他们还注意到，Barr等人使用相对简单的模拟，以“行为良好”的随机效应作为其论文的基础。相反，Bates等人建议采用以下方法：

我们提出（1）使用PCA确定随机效应结构的方差-协方差矩阵的维数，（2）最初将相关参数约束为零，尤其是在最初的拟合最大模型的尝试未收敛时， （3）从模型中删除非重要方差分量及其相关的相关参数

在同一篇论文中，他们还指出：

重要的是，收敛失败不是由于估计算法的缺陷，而是尝试拟合过于复杂而无法由数据正确支持的模型的直接结果。

和：

无需使用最大模型来防范反保守结论。全面的模型完全提供了这种保护，这些模型以对数据可以支持的复杂性的实际期望为指导。与其他科学领域一样，在统计学中，简约是一种美德，而不是一种恶习。

贝茨（Bates）等人（2015）

从更实用的角度来看，应该进一步考虑的是，数据生成过程，作为数据基础的生物学/物理/化学理论是否应该指导分析人员确定随机效应结构。