什么是“限制最大可能性”，什么时候应使用？

73

我已阅读的抽象本文认为：

“通过修改Patterson和Thompson的变换对Hartley aud Rao的最大似然（ML）程序进行了修改，该变换将似然渲染正态性划分为两个部分，其中一个没有固定影响。最大化这部分会产生所谓的受限最大似然（REML）估算器。”

我还在本文摘要中阅读了REML：

“考虑到由于估计固定效应而导致的自由度损失。”

遗憾的是，我无法访问这些论文的全文（如果这样做的话，可能会无法理解）。

此外，REML与ML有何优势？在拟合混合效果模型时，在什么情况下REML优于ML（反之亦然）？请提供适合具有高中（或刚刚毕业）数学背景的人的解释！

mixed-model maximum-likelihood reml

— 乔·金
source

参见stats.stackexchange.com/questions/99895/…– user83346 2013

62

根据ocram的回答，ML对于方差分量的估计有偏差。但是请注意，对于较大的样本量，偏差会变小。因此，在回答您的问题“ ... REML与ML的优点是什么？在拟合混合效应模型时，在什么情况下REML优于ML（反之亦然）？ ”，对于小样本量，则首选REML。但是，REML的似然比测试在两个模型中都需要完全相同的固定效果规范。因此，为了通过LR测试比较具有不同固定效果（常见情况）的模型，必须使用ML。

REML考虑了估计的（固定效果）参数的数量，每个参数失去1个自由度。这是通过将ML应用于最小二乘残差来实现的，该残差与固定效果无关。

— 罗伯特·朗
source

8

实际上，方差成分的REML估计量通常（近似）是无偏的，而ML估计量则是负偏的。但是，ML估计器通常具有比REML估计器低的均方误差（MSE）。因此，如果您希望平均而言是正确的，请使用REML，但是您需要为此付出较大的估计差额。如果您想平均更接近真实值，请使用ML，但您要为此付出负偏见。

— 沃尔夫冈

3

在均值恒定且方差恒定的简单情况下，ML将SSR除以而REML将SSR除以。因此REML是此过程的概括！

n

$n$

(n - 1)

$(n-1)$

— kjetil b halvorsen

“ ML对于方差分量的估计有偏见”。它是指随机效应的方差，还是固定效应系数的标准误？

— skan

54

这是一个快速解答...

标准说明性示例

令是正态分布）的样本。既和是未知的。的最大似然估计，通过取对数似然的衍生物对于所得和等同于零，是其中 $y = (y_1, \dotsc, y_n)$ $\mathrm{N}(\mu, \sigma^2$ $\mu$ $\sigma^2$ $\sigma^2$ $\sigma^2$

{\hat{σ}}_{ML}^{2} = \frac{1}{n} \sum_{i = 1}^{n} (y_{i} - \bar{y})^{2}

$\hat{\sigma}^2_{\textrm{ML}} = \frac{1}{n} \sum_{i=1}^n (y_i -\bar{y})^2$

\bar{y} = \frac{1}{n} \sum_{i = 1}^{n} y_{i}

$\bar{y} = \frac{1}{n} \sum_{i=1}^n y_i$ 是的最大似然估计量。我们可以证明 [ 从重写开始

μ

$\mu$

E ({\hat{σ}}_{ML}^{2}) = \frac{n - 1}{n} σ^{2} .

$\mathrm{E}(\hat{\sigma}^2_{\textrm{ML}}) = \frac{n-1}{n} \sigma^2.$

{\hat{σ}}_{ML}^{2}

$\hat{\sigma}^2_{\textrm{ML}}$ 作为 ]。因此，有偏差。请注意，如果我们知道，那么的MLE代替了估计中的未知均值。REML估计的直觉想法是最终可能包含上的所有信息，但不再包含上的信息。

\frac{1}{n} \sum_{i = 1}^{n} {((y_{i} - μ) + (μ - \bar{y}))}^{2}

$\frac{1}{n} \sum_{i=1}^n \left((y_i - \mu) + (\mu - \bar{y})\right)^2$

{\hat{σ}}_{ML}^{2}

$\hat{\sigma}^2_{\textrm{ML}}$

μ

$\mu$

σ^{2}

$\sigma^2$ 将是无偏的。因此，似乎与我们已经替换的事实有关

{\hat{σ}}_{ML}^{2}

$\hat{\sigma}^2_{\textrm{ML}}$ $\bar{x}$

σ^{2}

$\sigma^2$

μ

$\mu$

从技术上讲，REML可能性是原始数据线性组合的可能性：我们考虑的可能性代替的可能性 $y$ $Ky$ ，其中矩阵使得。 $K$ $\mathrm{E}[Ky] = 0$

REML估计通常用于更复杂的混合模型环境中。每本有关混合模型的书都有一个章节，详细介绍了REML估算。

编辑

@乔·金：这里是我最喜欢的关于混合模型的书籍之一，可以在线完全获得。第2.4.2节处理估计方差成分。祝您阅读愉快：-)

— 奥克拉姆
source

谢谢-这很有用-尽管我无法轻松获得有关混合模型的书籍。请您将您的答案与我帖子中的两个引号相关联？

— 乔·金

我想知道多元高斯如何改变故事吗？stats.stackexchange.com/questions/167494/...

— Sibbs赌博

9

ML方法低估了方差参数，因为它假定估计方差参数时已知固定参数而没有不确定性。

REML方法使用数学技巧使方差参数的估计独立于固定效果的估计。REML的工作方式是，首先获取由模型的固定效应部分建模的观测值的回归残差，此时忽略任何方差分量。

ML估计对固定效应无偏见，但对随机影响有偏见，而REML估计对固定效应有偏见，对随机影响无偏见。

— kan
source