为什么在嵌套的var-covar模型中进行选择时必须使用REML（而不是ML）？

关于线性混合模型随机效应的模型选择的各种描述指示使用REML。我在某种程度上知道REML和ML之间的区别，但是我不明白为什么要使用REML，因为ML有偏见。例如，使用ML对正态分布模型的方差参数进行LRT是否错误（请参见下面的代码）？我不明白为什么在模型选择中，没有偏见比成为ML更重要。我认为最终的答案必须是“因为REML的模型选择比ML的模型选择更好”，但我想知道的更多。我没有阅读LRT和AIC的派生词（我不足以全面了解它们），但是如果在派生词中明确使用REML，只是知道实际上就足够了（例如，

n <- 100
a <- 10
b <- 1
alpha <- 5
beta <- 1
x <- runif(n,0,10)
y <- rnorm(n,a+b*x,alpha+beta*x)

loglik1 <- function(p,x,y){
   a <- p[1]
   b <- p[2]
   alpha <- p[3]
  -sum(dnorm(y,a+b*x,alpha,log=T))
}

loglik2 <- function(p,x,y){
   a <- p[1]
   b <- p[2]
   alpha <- p[3]
   beta <- p[4]
  -sum(dnorm(y,a+b*x,alpha+beta*x,log=T))
}

m1 <- optim(c(a,b,alpha),loglik1,x=x,y=y)$value
m2 <- optim(c(a,b,alpha,beta),loglik2,x=x,y=y)$value
D <- 2*(m1-m2)
1-pchisq(D,df=1) # p-value

一个很简短的答案：REML是ML，因此基于REML的测试还是正确的。由于使用REML估计方差参数更好，因此很自然地使用它。

为什么REML是ML？考虑例如一个模型 与X ∈ [R Ñ × p，ž ∈ [R Ñ × q，和β ∈ [R p是固定效应向量，û 〜Ñ（0 ，τ 予。受限制的可能性可以通过考虑获得ñ - p。对比为“删除”的固定效应更精确地，让ç ∈

$$Y = X\beta + Zu + e \def\R{\mathbb{R}}$$ $X\in\R^{n\times p}$$Z\in\R^{n\times q}$$\beta \in \R^p$是随机效应的矢量，和 ë 〜ñ（0 ，σ 2 我ñ$u \sim \mathcal N(0, \tau I_q)$$e \sim \mathcal N(0, \sigma^2 I_n)$$n-p$，使得ÇX=0和C ^ C ^ ' =我ñ - p（即，列 Ç '是向量空间orthognal到的正交基X）的列产生的空间; 则CY=CZu$C \in \R^{(n-p)\times n}$$CX = 0$$CC' = I_{n-p}$$C'$$X$与 ε 〜Ñ（0 ，σ 2 我Ñ - p），以及用于可能性 τ ，σ 2给出 ç ý是受限制的可能性。 $$CY = CZ u + \epsilon$$ $\epsilon \sim \mathcal N(0, \sigma^2 I_{n-p})$$\tau, \sigma^2$$CY$

似然比检验是基于两个似然比的统计假设检验。它们的属性与最大似然估计（MLE）相关。（例如，请参见非专业术语中的最大似然估计（MLE））。

在你的情况（见问题），要“两个嵌套VAR-柯阀模型中”选择'，让我们说你想要一个模式之间进行选择，其中VAR-柯阀是$\Sigma_g$和模型，其中VAR-柯阀是，其中第二个模型（简单模型）是第一个模型（普通模型）的特例。 $\Sigma_s$

该试验是基于似然比。其中Σ小号和Σ克是最大似然估计。$LR=-2 (log(\mathcal{L}_s(\hat{\Sigma}_s)) - log(\mathcal{L}_g(\hat{\Sigma}_g) )$$\hat{\Sigma}_s$$\hat{\Sigma}_g$

统计是，渐近（！）χ 2。 $LR$ $\chi^2$

已知最大似然估计是一致的，但是，在许多情况下，它们是有偏差的。这是最大似然估计为估计的方差情况下Σ小号和Σ克，它可以是显示，它们被偏置。这是因为它们是使用从数据得出的均值进行计算的，因此，围绕此“估计平均值”的范围小于真实均值的范围（例如，在计算标准偏差时，请参见直观解释除以n - 1？）$\hat{\Sigma}_s$$\hat{\Sigma}_g$$n-1$

统计以上是χ 2大样品中的，这是因为仅仅一个事实，即，大的样品，在Σ小号和$LR$$\chi^2$$\hat{\Sigma}_s$收敛到其真值（MLE是一致的）。（注意：在上面的链接中，对于非常大的样本，除以n或除以（n-1）不会有任何区别）$\hat{\Sigma}_g$

对于较小的样品，MLE估计的Σ小号和Σ克将被偏压并且因此分配大号ř将偏离从χ 2，而REML估计将给予无偏估计Σ 小号和Σ 克，因此如果使用，对于var-covar模型的选择，REML然后估算L R$\hat{\Sigma}_s$$\hat{\Sigma}_g$$LR$$\chi^2$$\Sigma_s$$\Sigma_g$$LR$将用于更小的样品由被更好地近似。$\chi^2$

请注意，REML仅应用于选择均值相同的模型的嵌套var-covar结构，对于均值不同的模型，REML不适用，对于均值不同的模型，则应使用ML。

我得到的答案与常识有关，而与统计无关。如果您看一下SAS中的PROC MIXED，则可以通过六种方法执行估算：

http://support.sas.com/documentation/cdl/zh-CN/statug/63033/HTML/default/viewer.htm#statug_mixed_sect008.htm

但是REML是默认设置。为什么？显然，实践经验表明，它具有最佳性能（例如，收敛问题的机会最小）。因此，如果您的目标可以通过REML实现，那么使用REML而不是其他五种方法是有意义的。