在实践中，如何在混合效应模型中计算随机效应协方差矩阵？

19

基本上，我想知道的是如何实施不同的协方差结构，以及如何计算这些矩阵内的值。像lme（）这样的函数允许我们选择所需的结构，但是我很想知道它们是如何估算的。

考虑线性混合效应模型。 $Y=X\beta+Zu+\epsilon$

其中和。此外： $u \stackrel{d}{\sim} N(0,D)$ $\epsilon \stackrel{d}{\sim} N(0,R)$

$Var(Y|X,Z,\beta,u)=R$

$Var(Y|X,\beta)=Z'DZ+R=V$

为了简单起见，我们假设。 $R=\sigma^2I_n$

基本上我的问题是：对于各种参数设置，如何从数据中准确估算？假设我们假设是对角线的（随机效应是独立的）或完全参数化的（目前我比较感兴趣的情况）还是其他各种参数化中的任何一个？有没有简单的估计器/方程式？（毫无疑问，这是迭代估算的。） $D$ $D$ $D$

编辑： 从《方差组件》一书（Searle，Casella，McCulloch 2006），我设法做到以下几点：

如果则更新和计算方差成分，如下所示： $D=\sigma^2_uI_q$

$\sigma_u^{2(k+1)} = \frac{\hat{\textbf{u}}^T\hat{\textbf{u}}} {\sigma_u^{2(k)}\text{trace}(\textbf{V}^{-1}\textbf{Z}^T\textbf{Z})}$

$\sigma_e^{2(k+1)} = Y'(Y-X{\hat{\beta}}^{(k)}-{Z}\hat{{u}}^{(k)})/n$

其中和分别是第个更新。 $\hat{\beta}^{(k)}$ $\hat{{u}}^{(k)}$ $k$

当是块对角线或完全参数化时，是否存在通用公式？我猜在完全参数化的情况下，使用Cholesky分解来确保正定性和对称性。 $D$

— dcl
source

2

arxiv.org/pdf/1406.5823（统计软件杂志上的印刷中）可能很有用……

— Ben Bolker

8

链接到Goldstein .pdf @probabilityislogic的文档非常好。以下是一些讨论您的特定问题的参考资料的列表：

1976年，Harville：Gauss-Markov定理的扩展，包括对随机效应的估计。

Harville，1977年：最大似然方法用于方差成分估计和相关问题。

Laird和Ware，1982：纵向数据的随机效应模型。

McCulloch，1997年：广义线性混合模型的最大似然算法。

MIXED过程的SAS用户指南摘录包含一些有关协方差估计的重要信息，以及更多的资源（从3968页开始）。

上有纵向/重复测量数据分析众多优质的教科书，但这里有一个R中进入一些细节有关执行（从作者lme4和nlme）：

Pinheiro和Bates，2000年：S和S-PLUS中的混合效果模型。

编辑：另一篇相关论文：Lindstrom和Bates，1988年：牛顿-拉夫森和EM算法用于重复测量数据的线性混合效果模型。

编辑2：另一个：Jennrich和Schluchter，1986：具有结构协方差矩阵的不平衡重复测量模型。

我看过Pinheiro和Bates，特别是第2章（关于理论和计算），但是我似乎对协方差结构如何执行和估计没有任何了解。我将在不久后再次讨论。我有一些这样的论文就坐在这里，我绝对必须再次阅读它们。干杯。

— dcl

1

@dcl回顾P＆B的第2章，我确实发现它们可能掩盖了您感兴趣的某些步骤（它们提到使用协方差参数优化对数似然性，但没有说明如何）。话虽如此，第2.2.8节可能是最能解决您问题的部分。

1

@dcl添加了另一个可能有用的资源。

感谢您的链接。我过去浏览过这些论文，其中一些对我来说是非常技术性的。现在，我将再次浏览它们，但是乍一看，我似乎无法从中得到想要的东西。

— dcl

1

@dcl抱歉，链接的墙，但是您的问题是一个人可以花几个完整的讲座讨论（这是一个很好的问题，当初次学习混合效果模型时，这种问题就被扫了一下）。除了浏览文献之外，您可以做的一件事是查看其源代码，lme4并查看其如何处理此估计。

7

哈维·戈德斯坦（Harvey Goldstein）并不是一个不错的起点。

与大多数复杂的估算方法一样，它随软件包的不同而不同。但是，通常需要执行以下步骤：

$D$ $D_0$ $R$ $R_0$ $i=1$
$D=D_{i-1}$ $R=R_{i-1}$ $\beta$ $u$ $\epsilon$ $\beta_i$ $u_i$ $\epsilon_i$
$\beta=\beta_i$ $u=u_i$ $\epsilon=\epsilon_i$ $D$ $R$ $D_i$ $R_i$
$i=i+1$

一种简单，快速的方法是IGLS，它基于两个最小二乘过程之间的迭代，并在第二章中详细介绍。不利的一面是，对于接近零的方差分量，它不能很好地工作。

— 概率逻辑
source

我知道这是通用方法，但是如何估算D和R，各种结构使用什么方程式？什么是好的初始值？我现在将检查pdf，欢呼。

— dcl

1

下面的文章提供了D的封闭形式的解决方案：

J. Shao，Mari Palta和Roger Qu，（1998年），“ 带有未测协变量的混合效应模型中回归参数的最小二乘估计 ”，《统计通讯-理论与方法》，27：6，1487-1501，DOI：10.1080 / 03610929808832172

— 拉鲁卡
source

1

Searle Et al和Lynch和Walsh 遗传学的两个可能是有用的方差成分和数量性状分析。如果我没记错的话，Lynch and Walsh的书给出了逐步算法

— Ashokragavendran
source