从混合模型进行预测时，为什么难以将不确定性纳入随机效应中？

R-sig-ME上有多个线程可以获取有关使用lme4和nlme在R中进行预测的置信区间的信息。例如，在2010年的此处和此处，包括这两个软件包的作者之一Dougals Bates的一些评论。我不愿逐字逐句地引用他，因为担心他们会脱离上下文，但无论如何，他的一句话是

“您在预测中结合了参数和随机变量，我不确定评估那些预测的变异性意味着什么。贝叶斯方法可能能够理解这一点，但我无法理解。 ” https://stat.ethz.ch/pipermail/r-sig-mixed-models/2010q1/003447.html

我知道贝叶斯glmm软件包MCMCglmm可以产生可靠的预测间隔。

最近，lme4已经为github上的开发版本提供了一种predict方法，但它附带以下注释：

“ @note没有选择来计算预测的标准误差，因为很难定义一种将方差参数中包含不确定性的有效方法；对于此任务，我们建议使用\ code {\ link {bootMer}}。” https://github.com/lme4/lme4/blob/master/R/predict.R

那么，为什么在频繁的情况下根据混合模型进行预测时，很难将不确定性纳入随机效应中呢？

mixed-model

— 塞莱斯
source

Answers:

我不确定预测方法的注释，但主要问题与生成易于解释的方差度量有关，而不是与方差度量本身有关。贝茨没有在第一句话中评论您是否可以做到，无论它意味着什么。

采取两级重复测量设计的简单多级模型。假设您有以下数据，其中每一行都是一个主题：

在此处输入图片说明

在lmer模型中可以表示为：

y ~ x + (1|subject)

您将根据x预测y值作为固定效果（A和B之差）；并拦截随机效果**。仔细查看该图，请注意，尽管每个对象（每条线的斜率）的x效果存在变化，但与跨对象（每条线的高度）的变化相比，它的影响相对较小。

该模型解析这两组可变性，每组都是有意义的。您可以使用随机效果来预测线条的高度，也可以使用x的固定效果来预测斜率。您甚至可以将两者结合使用来处理我们的各个y值。但是，当您将坡度和线条高度的可变性结合在一起时，您真正无法做的就是对您的模型而言有意义的事情。您需要分别谈论坡度和线条高度的变化。这是模型的功能，而不是责任。

您将相对容易地估计x的影响的可变性。您可以说一些关于该区间的置信区间。但是请注意，此置信区间与任何特定y值的预测都将具有很小的关系，因为y值受效果和受检方方差的组合的影响，而该方差与单独的效果的变异性不同。

当贝茨（Bates）写下您引用的内容时，我想象他经常想到的甚至是更复杂的多层设计。但是，即使您只是考虑这个简单的示例，您也会想知道可以通过将所有方差度量组合在一起来提取什么样的真实含义。

**为了简单起见，我忽略了拦截的固定效果，只是将其视为随机效果。您可以从甚至具有随机和固定截距的甚至更简单的模型中提取类似的结论，但是我认为这很难传达。在那种情况下，同样，固定效果和随机效果由于某种原因而被解析，并且意味着不同的事物，并且将其可变性重新组合成预测值会导致该可变性相对于模型意义不大。

— 约翰
source

因此，我听到您说的是，这归结于同一旧见解，即不确定我们是否要将主题方差视为错误还是将其分开划分并假装不存在？那正确吗？

— russellpierce

我从没听过那把旧锯。我从未听说您应该假装主题差异不存在。但我想这与这个特定示例有关。该模型解析方差。建模过程的此功能是您如何了解模型的方法。如果再次组合方差，那么您将首先破坏模型的目的。我并不是说忽略主体差异，只是主体的随机效应是独立的。您可能需要阅读Blouin＆Riopelle（2005），看看结合方差时SE的含义如何变化。

— 约翰，

也许我错过了一些东西，但是这似乎很像来回的人，他们对在“受试者内/重复测量”方差分析中最佳使用哪种效应量以及如何最好地绘制这些置信区间...感到困惑，但是我想我之后阅读您向我指出的内容，我将不会再失去任何我想念的东西。：）谢谢。

— russellpierce

就像我说的，它们是相关的。我不知道有来回回，很想看看参考。事实是，您正在谈论的两个配置项和效果意味着不同的事情。因此，您可以使用一种表达您想要表达的意思的语言。而且您必须使它们显得明智。[很难（即使有些人认为，在重复测量设计中将包含主题方差的CI置于均值附近，并用它来表达重复测量效果是明智的。）

— 约翰·

我没有在文献中看到任何东西，只是很多非正式的扭动和试图猜测审稿人会怎么想。

— russellpierce

很长一段时间以来，我一直在怀疑这种看似普遍的信念，即对于（通常是非线性的）混合效应模型，固定效应和随机效应存在一些根本差异。例如，贝茨（Bates）在以下回复中阐明了这种信念

https://stat.ethz.ch/pipermail/r-sig-mixed-models/2010q1/003447.html

$L(x,u)$ $g(x,u)$ $P_g(t)$ $g$ 是（谁）给的

P_{g} (t) = max_{x, u} {L (x, u) | g (x, u) = t} \eqno (1)

$P_g(t)=\max_{x,u} \{L(x,u)\ |\ g(x,u)=t \} \eqno(1)$

我相信没有人会对此争论。现在假设我们具有的先验概率分布。然后，我认为的分布似然性仍然有意义，但是我们应该通过包含先验来修改（1）。 $p(u)$ $g$

P_{g} (t) = max_{x, u} {L (x, u) p (u) | g (x, u) = t} \eqno (2)

$P_g(t)=\max_{x,u} \{L(x,u)p(u)\ |\ g(x,u)=t \} \eqno(2)$ 注意，由于是带有在先，它与所谓的随机效应完全相同。那么为什么很多人认为随机效应参数有些不同。我认为差异来自于参数估算的通常做法。使随机效应``与众不同''的是，许多模型中都有很多随机效应。结果，为了获得对固定效果（或其他参数）的有用估计，有必要以不同的方式对待随机效果。我们要做的是将它们集成到模型之外。另外，在上述模型中，我们将形成的可能性，其中现在

u

$u$

F (x)

$F(x)$

F (x) = \int L (x, u) p (u) d u

$F(x) = \int L(x,u)p(u)du$

u

$u$ 消失了。因此，如果我们只有那么谈论某些函数的轮廓似然似乎没有任何意义。

F (x)

$F(x)$

g (x, u)

$g(x,u)$

因此，要获取有关函数我们不应该对参数积分。但是在有许多随机效果参数的情况下会发生什么。然后我声称我们应该在``大多数''上进行整合，但是在我会精确地说的意义上，并不是所有这些都可以整合。为了激励构建，让随机效应为。考虑特殊情况，其中函数仅取决于，而实际上是可以想象的最简单的函数。对随机效应进行积分以获得 $g(x,u)$ $u$ $n$ $u=(u_1,u_2,...,u_{n-1},u_n)$ $g(x,u)$ $u_n$ $g(x,u)=u_n$ $u_1,u_2,...,u_{n-1}$

F (x, u_{n}) = \int L (x, u_{1}, . . ., u_{n}) p (u_{1}, . . ., u_{n})) d u_{1} d u_{2} . . . d u_{n - 1} \eqno (4)

$F(x,u_n) = \int L(x,u_1,...,u_n)p(u_1,...,u_n))du_1du_2...du_{n-1}\eqno(4)$ ，从而前我们可以形成轮廓似然如何泛化以便对任意函数有意义。以及通知所述的定义在是相同的要看到此注释，对于简单情况，与

P_{g} (t) = max_{x, u_{n}} {F (x, u_{n}) | u_{n} = t} \eqno (3)

$P_g(t)=\max_{x,u_n} \{F(x,u_n) | u_n=t \} \eqno(3)$

(3)

$(3)$

g (x, u)

$g(x,u)$

F (x, u_{n})

$F(x,u_n)$

(4)

$(4)$

F (x, s) = lim_{ϵ \to 0} \frac{1}{ϵ} \int_{{(x, u_{n}) | s - ϵ / 2 < g (x, u_{n}) < s + ϵ / 2}} L (x, u_{1}, . . ., u_{n}) p (u_{1}, . . ., u_{n})) d u_{1} d u_{2} . . . d u_{n} \eqno (5)

$F(x,s) = \lim_{\epsilon\rightarrow 0}{1\over\epsilon} \int_{\{(x,u_n) | s-\epsilon/2<g(x,u_n)<s+\epsilon/2\}} L(x,u_1,...,u_n)p(u_1,...,u_n))du_1du_2...du_n\eqno(5)$

g (x, u) = u_{n}

$g(x,u)=u_n$

(5)

$(5)$

F (x, s) = lim_{ϵ \to 0} \frac{1}{ϵ} \int_{{(x, u_{n}) | s - ϵ / 2 < u_{n} < s + ϵ / 2}} F (x, u_{n}) d u_{n} \eqno (6)

$F(x,s)=\lim_{\epsilon\rightarrow 0}{1\over\epsilon} \int_{\{(x,u_n) | s-\epsilon/2<u_n<s+\epsilon/2\}} F(x,u_n)du_n\eqno(6)$

对于一般函数我们形成由定义的函数并计算轮廓似然性 $g(x,u)$ $F(x,s)$ $(5)$

P_{g} (s) = max_{x, u} {F (x, s) | g (x, u) = s} \eqno (3)

$P_g(s)=\max_{x,u} \{F(x,s) | g(x,u)=s \} \eqno(3)$

这种概貌似然是一个定义明确的概念，并且可以独立存在。然而，为了在实践中有用，需要至少能够近似地计算其值。我相信，对于许多模型使用Laplace近似的变体可以很好地近似函数。用定义令H为函数相对于参数和的对数的hessian 。 $F(x,s)$ $\hat x(s),\hat u(s)$

\hat{x} (s), \hat{u} (s) = max_{x, u} {L (x, u) p (u) | g (x, u) = s}

$\hat x(s),\hat u(s)= \max_{x,u} \{L(x,u)p(u)\ |\ g(x,u)=s\}$

- L (x, u) p (u)

$-L(x,u)p(u)$

x

$x$

u

$u$

水平集的是的三维子流形，其中有三维空间固定效应和随机效应。我们需要在此流形上集成形式，其中所有都线性化为这涉及到一些基本的微分几何。假设通过重新参数化，我们可以假设和。然后考虑地图 $g$ $m+n-1$ $n+m$ $m$ $n$ $n$ $du_1\wedge du_2\wedge\ldots\wedge du_n$ $\hat x(s),\hat u(s)$ $g_{x_n}(\hat x(s),\hat u(s))\ne 0$ $\hat x(s)=0$ $\hat u(s)=0$

(x_{1}, x_{2}, \dots, x_{m - 1}, u_{1}, u_{2}, \dots, u_{n}) \to (x_{1}, x_{2}, \dots, x_{m - 1}, \frac{- \sum_{i = 1}^{m - 1} g_{x_{i}} x_{i} - \sum_{i = 1}^{n} g_{u_{i}} u_{i}}{g_{x_{m}}}, u_{1}, u_{2}, \dots, u_{n})

$(x_1,x_2,\ldots,x_{m-1},u_1,u_2,\ldots,u_n) \rightarrow (x_1,x_2,\ldots,x_{m-1}, {-\sum_{i=1}^{m-1}g_{x_i}x_i-\sum_{i=1}^ng_{u_i}u_i\over g_{x_m}}, u_1,u_2,\ldots,u_n)$ ，其中用于表示相对于在最大点评估的的的偏导数。这是维空间到水平集的切线空间上的线性映射。我们可以使用它来计算所需的积分。首先，这1个形式的回调本身就是他们自己。

g_{x_{i}}

$g_{x_i}$

g

$g$

x_{i}

$x_i$

m + n - 1

$m+n-1$

g

$g$

d u_{i}

$du_i$

Hessian的回撤是二次形式

T_{i, j} = H_{i + m, j + m} + \frac{g_{u_{i}} g_{u_{j}}}{{g_{x_{m}}}^{2}} H_{m, m} \rm for 1 <= i, j <= n

$T_{i,j} =H_{i+m,j+m}+{g_{u_i}g_{u_j}\over {g_{x_m}}^2}H_{m,m}\quad \hbox{\rm for} \ 1<=i,j<=n$

因此，积分可以通过拉普拉斯近似来计算（或近似），拉普拉斯近似是涉及行列式对数的常用公式，该对数通过Cholesky分解来计算。积分的拉普拉斯近似值是其中是决定因素。我们仍然需要将的水平集的宽度作为。首先，它的值是其中是的偏导数的向量 $T$

L (\hat{x} (s), \hat{u} (s)) | - T |^{\frac{1}{2}}

$L(\hat x(s),\hat u(s))|-T|^{1\over2}$

| \cdot |

$|\cdot|$

g

$g$

ϵ \to 0

$\epsilon\rightarrow 0$

ϵ / ‖ \nabla g (\hat{x} (s), \hat{u} (s)) ‖

$\epsilon/\|\nabla g(\hat x(s),\hat u(s))\|$

\nabla g (\hat{x} (s), \hat{u} (s)))

$\nabla g(\hat x(s),\hat u(s)))$

g

$g$

(g_{x_{1}}, g_{x_{2}}, \dots, g_{x_{m}}, g_{u_{1}}, g_{u_{2}}, \dots, g_{u_{n}})

$( g_{x_1}, g_{x_2}, \ldots, g_{x_m}, g_{u_1}, g_{u_2}, \ldots, g_{u_n})$ 以便给出级集合上的似然值通过这是用于计算轮廓似然的正确近似值。

g

$g$

\frac{L (\hat{x} (s), \hat{u} (s)) | - T |^{\frac{1}{2}}}{‖ \nabla g (\hat{x} (s), \hat{u} (s)) ‖}

${L(\hat x(s),\hat u(s))|-T|^{1\over2}\over \|\nabla g(\hat x(s),\hat u(s))\|}$

— 戴夫·弗尼尔
source