Questions tagged «reml»

我已阅读的抽象本文认为： “通过修改Patterson和Thompson的变换对Hartley aud Rao的最大似然（ML）程序进行了修改，该变换将似然渲染正态性划分为两个部分，其中一个没有固定影响。最大化这部分会产生所谓的受限最大似然（REML）估算器。” 我还在本文摘要中阅读了REML： “考虑到由于估计固定效应而导致的自由度损失。” 遗憾的是，我无法访问这些论文的全文（如果这样做的话，可能会无法理解）。 此外，REML与ML有何优势？在拟合混合效果模型时，在什么情况下REML优于ML（反之亦然）？请提供适合具有高中（或刚刚毕业）数学背景的人的解释！

73 mixed-model  maximum-likelihood  reml 

关于线性混合模型随机效应的模型选择的各种描述指示使用REML。我在某种程度上知道REML和ML之间的区别，但是我不明白为什么要使用REML，因为ML有偏见。例如，使用ML对正态分布模型的方差参数进行LRT是否错误（请参见下面的代码）？我不明白为什么在模型选择中，没有偏见比成为ML更重要。我认为最终的答案必须是“因为REML的模型选择比ML的模型选择更好”，但我想知道的更多。我没有阅读LRT和AIC的派生词（我不足以全面了解它们），但是如果在派生词中明确使用REML，只是知道实际上就足够了（例如， n <- 100 a <- 10 b <- 1 alpha <- 5 beta <- 1 x <- runif(n,0,10) y <- rnorm(n,a+b*x,alpha+beta*x) loglik1 <- function(p,x,y){ a <- p[1] b <- p[2] alpha <- p[3] -sum(dnorm(y,a+b*x,alpha,log=T)) } loglik2 <- function(p,x,y){ a <- p[1] b <- p[2] alpha <- p[3] beta <- …

16 mixed-model  maximum-likelihood  unbiased-estimator  likelihood-ratio  reml 

此问题处理线性模型的特定版本中的受限最大似然（REML）估计，即： Y=X(α)β+ϵ,ϵ∼Nn(0,Σ(α)),Y=X(α)β+ϵ,ϵ∼Nn(0,Σ(α)), Y = X(\alpha)\beta + \epsilon, \\ \epsilon\sim N_n(0, \Sigma(\alpha)), 其中为（Ñ × p）矩阵由参数化α ＆Element; [R ķ，因为是Σ （α ）。β是令人讨厌的参数的未知向量；兴趣是在估计α，我们有ķ ≤ p « Ñ。通过最大可能性估计模型没有问题，但是我想使用REML。众所周知，参见例如LaMotte的，即似然甲' ÿ，其中阿是任何半正交矩阵，使得X(α)X(α)X(\alpha)n×pn×pn \times pα∈Rkα∈Rk\alpha \in \mathbb R^kΣ(α)Σ(α)\Sigma(\alpha)ββ\betaαα\alphak≤p≪nk≤p≪nk\leq p\ll nA′YA′YA'YAAA可以写成A′X=0A′X=0A'X=0 LREML(α∣Y)∝|X′X|1/2|Σ|−1/2|X′Σ−1X|−1/2exp{−12r′Σ−1r},r=(I−X(X′Σ−1X)+X′Σ−1)Y,LREML(α∣Y)∝|X′X|1/2|Σ|−1/2|X′Σ−1X|−1/2exp⁡{−12r′Σ−1r},r=(I−X(X′Σ−1X)+X′Σ−1)Y, L_{\text{REML}}(\alpha\mid Y) \propto\vert X'X\vert^{1/2} \vert \Sigma\vert^{-1/2}\vert X'\Sigma^{-1}X\vert^{-1/2}\exp\left\{-\frac{1}{2} r'\Sigma^{-1}r \right\}, \\ r = (I - X(X'\Sigma^{-1}X)^+X'\Sigma^{-1})Y, 当为完整列等级时XXX。 我的问题是，对于某些完全合理且科学有趣的，矩阵X （α …

14 mixed-model  maximum-likelihood  linear-model  optimization  reml 

是否存在REML的贝叶斯解释？根据我的直觉，REML与所谓的经验贝叶斯估计程序非常相似，我想知道是否已经证明了某种渐近等价性（例如，在某种合适的先验条件下）。例如，经验贝叶斯和REML都似乎是面对麻烦参数而采取的“折衷”估计方法。 主要是，我通过这个问题寻求的是这种观点倾向于产生的高级洞察力。当然，如果不能出于某种原因对REML 进行这种性质的论证，那么对为什么这样做的解释也将提供令人欢迎的见解！

14 bayesian  asymptotics  reml 

我正在阅读道格·贝茨（Doug Bates）关于R的lme4程序包的理论论文，以更好地理解混合模型的本质，并遇到了一个我想更好理解的有趣结果，即使用受限最大似然（REML）估计方差。 在关于REML标准的第3.3节中，他指出，在拟合线性模型中根据残差估计方差时，在方差估计中使用REML与使用自由度校正紧密相关。特别是，“尽管通常不是这样得出的”，但可以通过优化“ REML准则”估算方差来推导自由度校正（公式（28））。REML标准基本上只是可​​能性，但是线性拟合参数已通过边缘化来消除（而不是将其设置为等于拟合估计值，这会产生有偏差的样本方差）。 我进行了数学运算，并验证了仅具有固定效果的简单线性模型所声称的结果。我正在努力的是解释。是否存在某种观点，可以通过优化拟合参数被边缘化的可能性来自然地推导方差估计？感觉有点像贝叶斯，好像我认为似然性是后验的，将拟合参数边缘化，就好像它们是随机变量一样。 还是说辩护主要只是数学上的-它在线性情况下有效，但也可以推广？

11 maximum-likelihood  mixed-model  unbiased-estimator  hierarchical-bayesian  reml