关于混合模型中参数估计的直觉（方差参数与条件模式）

我已经读过很多次了，随机效应（例如，对象的BLUP /条件模式）不是线性混合效应模型的参数，而是可以从估计的方差/协方差参数中得出的。例如Reinhold Kliegl等。（2011）状态：

随机效应是受试者与总体均值RT的偏差以及受试者与固定效应参数的偏差。假定它们是独立且均值为0的正态分布。重要的是要认识到，这些随机效应不是 LMM的参数-只有它们的方差和协方差才是。LMM参数与受试者的数据结合可用于为每个受试者生成随机效果的“预测”（条件模式）。

有人可以给出直观的解释，如何在不实际使用/估计随机效应的情况下估计随机效应的（协）方差参数吗？

mixed-model intuition blup

— 斯塔默库尔
source

Answers:

考虑一个简单的线性混合模型，例如一个随机截距模型，在该模型中我们估计对在不同对象上的依赖性，并假设每个对象都有自己的随机截距：在这里，截距被建模为来自高斯分布，随机噪声也是Gaussian在语法上，该模型将写为。 $y$ $x$

ÿ = 一种 + b X + C_{一世} + ϵ 。

$y = a + bx + c_i + \epsilon.$

c_{i}

$c_i$

C_{一世} 〜 ñ （ 0 ， τ^{2} ）

$c_i\sim \mathcal N(0, \tau^2)$

ϵ 〜 ñ （ 0 ， σ^{2} ） 。

$\epsilon \sim \mathcal N(0, \sigma^2).$ lme4y ~ x + (1|subject)

重写以下内容是有益的：

\begin{matrix} ÿ ∣ C 〜 ñ （ 一种 + b X + C ， σ^{2} ） \\ C 〜 ñ （ 0 ， τ^{2} ） \end{matrix}

$\begin{gather} y \mid c \sim \mathcal N(a + bx + c, \sigma^2) \\ c \sim \mathcal N(0, \tau^2) \end{gather}$

这是指定相同概率模型的更正式方法。从这种表述中，我们可以直接看到随机效应不是“参数”：它们是未观察到的随机变量。那么，如何在不知道值的情况下估计方差参数呢？ $c_i$ $c$

注意，上面的第一个方程描述了给定时的条件分布。如果我们知道和的分布，则可以通过对进行积分来计算的无条件分布。您可能将其称为总概率定律。如果两个分布都是高斯分布，那么得到的无条件分布也是高斯分布。 $y$ $c$ $c$ $y\mid c$ $y$ $c$

在这种情况下，无条件分布只是，但是我们的观察结果并不是唯一的样本，因为每个对象有多个测量值。为了继续进行，我们需要考虑所有观测值的整个维向量的分布：其中是由和组成的块对角矩阵。您要求直觉，所以我想避免数学。重要的一点是，该方程式没有 $\mathcal N(a + bx, \sigma^2+\tau^2)$ $n$ $\mathbf y$

ÿ 〜 ñ （ 一种 + b X ， Σ ）

$\mathbf y \sim \mathcal N(a+b\mathbf x, \boldsymbol\Sigma)$

Σ = σ^{2} I_{n} + τ^{2} I_{N} \otimes 1_{M}

$\boldsymbol\Sigma=\sigma^2 \mathbf I_n + \tau^2 \mathbf I_N \otimes \mathbf 1_M$

σ^{2}

$\sigma^2$

τ^{2}

$\tau^2$

c

$c$ 不再！这就是实际适合观察到的数据的原因，这就是为什么有人说不是模型的参数的原因。

c_{i}

$c_i$

当参数，，和合适时，就可以计算出每个的的条件分布。您在混合模型输出中看到的是这些分布的模式，也就是条件模式。 $a$ $b$ $\tau^2$ $\sigma^2$ $c_i$ $i$

— 变形虫说恢复莫妮卡
source

我喜欢这个答案。我也喜欢这个问题。就我个人而言，我仍在努力研究该机制（实际上我从来都不关心研究解决LMEM的算法）。因此，我猜想随机效应的差异是通过将更改为我想一个小例子可以解决这个问题。我正在考虑自己制作，但也许已经有资源显示了此类示例（有人吗？）。

ÿ 〜 ñ （ 一种 + b X ， σ^{2} 一世 ）

$\mathbf{y} \sim \mathcal{N}(a + b\mathbf{x}, \sigma^2 I)$

ÿ 〜 ñ （ 一种 + b X ， Σ ）

$\mathbf{y} \sim \mathcal{N}(a + b\mathbf{x}, \Sigma)$

— Sextus Empiricus

@statmerkur Tau是一个参数；我回答的最后一个公式仍然包括tau。关键是最后一个公式不包含。我们只需将两个方程式组合在一起，以使落在那儿（从技术上讲，我们对积分）。然后我们拟合模型，这意味着我们拟合tau和其他参数。

c

$c$

c

$c$

c

$c$

— 变形虫说恢复莫妮卡

我想我只是不了解集成步骤。正如@Martijn Weterings指出的一个小（R代码）示例或参考，可以发现这会很棒！

— statmerkur

感谢您接受我的回答并授予我@statmerkur赏金，但它仍然很不清楚，这很糟糕。我将尝试考虑一个例子。更新答案时，我会ping您。

— 变形虫说恢复莫妮卡

@statmerkur在回答这个问题时，我演示了混合效应模型的手动计算（在编写似然函数的意义上是手动的，优化仍然是通过R中的标准优化函数完成的） stats.stackexchange.com/a/ 337348/164061

— Sextus Empiricus

您可以通过使用固定效应轻松地估计方差和协方差参数，而无需依赖随机效应（有关固定效应与随机效应的讨论，请参见此处；请注意这些术语的定义不同）。

通过为每个组（或每个时间段或您认为要用作随机效应的任何事物；这相当于内部转换）添加一个（二进制）指标变量，可以轻松地得出固定效应。这使您可以轻松估算固定效果（可以将其视为参数）。

固定效果假设不需要您对固定效果的分布进行假设，您可以轻松估算固定效果的方差（尽管如果每个组中的观察次数很小，这会产生极大的干扰；它们会最小化与随机效应相比，以较大的方差为代价的偏差，因为通过添加这些指标变量，每个组都会失去一个自由度）。您还可以估计不同固定效果集之间或固定效果与其他协变量之间的协方差。例如，我们在德国德甲联赛中的《竞争平衡与分类匹配》一文中做了此事，以评估是否有越来越好的足球运动员为更好的球队效力。

随机效应需要关于协方差的先验假设。在经典随机效应模型中，您假设随机效应就像一个错误，并且它们独立于其他协变量（因此，如果假设无效，则您可以忽略它们并使用OLS并获得一致的结果，尽管对其他参数的估算无效）的随机效应模型成立）。

更多的技术信息可以在这里找到。安德鲁·盖尔曼（Andrew Gelman）在他的漂亮著作中也做了很多更直观的工作，其中包括使用回归和多层次/层次模型进行数据分析

— 阿恩·乔纳斯·沃恩克
source

我指的是随机效果的（协）方差参数（请参见我的编辑）。

— statmerkur

我认为这不能回答问题。

— 变形虫说恢复莫妮卡