REML是否存在贝叶斯解释？

是否存在REML的贝叶斯解释？根据我的直觉，REML与所谓的经验贝叶斯估计程序非常相似，我想知道是否已经证明了某种渐近等价性（例如，在某种合适的先验条件下）。例如，经验贝叶斯和REML都似乎是面对麻烦参数而采取的“折衷”估计方法。

主要是，我通过这个问题寻求的是这种观点倾向于产生的高级洞察力。当然，如果不能出于某种原因对REML 进行这种性质的论证，那么对为什么这样做的解释也将提供令人欢迎的见解！

bayesian asymptotics reml

— 戴维·诺里斯
source

这篇文章似乎很有意义：Foulley J.（1993）。一个简单的参数，说明如何得出受限的最大似然。J.乳业科学。76，2320–2324。10.3168 / jds.S0022-0302（93）77569-4 sciencedirect.com/science/article/pii/...

— DJW

对于与后验分布有关的估计量，贝叶斯解释仅存在于贝叶斯分析的框架内。因此，可以给REML估计量进行贝叶斯解释（即从后验取为估计量的解释）的唯一方法是，如果我们将REML分析中的受限对数似然性设为对应的对数后验贝叶斯分析；在这种情况下，REML估计器将是来自贝叶斯理论的MAP估计器，并带有相应的贝叶斯解释。

将REML估计器设置为MAP估计器：比较简单地了解如何将REML分析中的受限对数似然设置为贝叶斯分析中的对数后验。为此，我们要求对数优先级是REML流程删除的对数似然部分的负数。假设我们有对数似然其中是残留的对数似然性，而是相关参数（其中是我们的讨厌参数）。设置的先验为后验： $\ell_\mathbf{x}(\theta, \nu) = \ell_*(\theta, \nu) + \ell_{\text{RE}}(\theta)$ $\ell_{\text{RE}}(\theta)$ $\theta$ $\nu$ $\pi(\theta, \nu) \propto \exp(-\ell_*(\theta, \nu))$

\begin{aligned} π (θ | x) & \propto \int L_{x} (θ, ν) π (θ, ν) d ν \\ \propto \int \exp (ℓ_{x} (θ, ν)) \exp (- ℓ_{*} (θ, ν)) d ν \\ = \int \exp (ℓ_{x} (θ, ν) - ℓ_{*} (θ, ν)) d ν \\ = \int \exp (ℓ_{*} (θ, ν) + ℓ_{RE} (θ) - ℓ_{*} (θ, ν)) d ν \\ = \int \exp (ℓ_{RE} (θ)) d ν \\ = \int L_{RE} (θ) d ν \\ \propto L_{RE} (θ) . \end{aligned}

$\begin{equation} \begin{aligned} \pi(\theta|\mathbf{x}) &\propto \int L_\mathbf{x}(\theta, \nu) \pi(\theta, \nu) d\nu \\[6pt] &\propto \int \exp(\ell_\mathbf{x}(\theta, \nu)) \exp(-\ell_*(\theta, \nu)) d\nu \\[6pt] &= \int \exp(\ell_\mathbf{x}(\theta, \nu) - \ell_*(\theta, \nu)) d\nu \\[6pt] &= \int \exp(\ell_*(\theta, \nu) + \ell_{\text{RE}}(\theta) - \ell_*(\theta, \nu)) d\nu \\[6pt] &= \int \exp(\ell_{\text{RE}}(\theta)) d\nu \\[6pt] &= \int L_{\text{RE}}(\theta) d\nu \\[6pt] &\propto L_{\text{RE}}(\theta). \\[6pt] \end{aligned} \end{equation}$

这给了我们：

{\hat{θ}}_{MAP} = \arg max_{θ} π (θ | x) = \arg max_{θ} L_{RE} (θ) = {\hat{θ}}_{REML} .

$\hat{\theta}_\text{MAP} = \arg \max_\theta \pi(\theta|\mathbf{x}) = \arg \max_\theta L_{\text{RE}}(\theta) = \hat{\theta}_\text{REML}.$

该结果使我们能够将REML估计器解释为MAP估计器，因此REML估计器的正确贝叶斯解释是，在上述先验条件下，是使后验密度最大化的估计器。

在说明了向REML估计器提供贝叶斯解释的方法之后，我们现在注意到该方法存在一些大问题。一个问题是，先验是使用对数似然组件，它取决于数据。因此，从某种意义上说，获得这种解释所必需的“先验”不是真正的先验，它是可以在查看数据之前形成的功能。另一个问题是，先验通常会不合适（即，它不会整合为一个），并且随着参数值变得极端而实际上可能会增加权重。（我们将在下面显示一个示例。） $\ell_*(\theta, \nu)$

基于这些问题，可以认为REML估计量没有合理的贝叶斯解释。或者，可以认为REML估计量仍然保持上述贝叶斯解释，这是“先验”下的最大后验估计量，必须与指定形式的观测数据一致一致，并且可能非常不合适。

正常数据的图示： REML估计的经典示例是对于正常数据，您对精度感兴趣平均值是令人讨厌的参数。在这种情况下，您具有对数似然函数： $x_1,...,x_n \sim \text{N}(\nu, 1/\theta)$ $\theta$ $\nu$

ℓ_{x} (ν, θ) = - \frac{n}{2} \ln θ - \frac{θ}{2} \sum_{i = 1}^{n} (x_{i} - ν)^{2} .

$\ell_\mathbf{x}(\nu,\theta) = - \frac{n}{2} \ln \theta - \frac{\theta}{2} \sum_{i=1}^n (x_i-\nu)^2.$

在REML中，我们将这种对数可能性分为两个部分：

\begin{aligned} ℓ_{*} (ν, θ) & = - \frac{n}{2} \ln θ - \frac{θ}{2} \sum_{i = 1}^{n} (x_{i} - ν)^{2} \\ ℓ_{RE} (θ) & = - \frac{n - 1}{2} \ln θ - \frac{θ}{2} \sum_{i = 1}^{n} (x_{i} - \bar{x})^{2} . \end{aligned}

$\begin{equation} \begin{aligned} \ell_*(\nu,\theta) &= - \frac{n}{2} \ln \theta - \frac{\theta}{2} \sum_{i=1}^n (x_i-\nu)^2 \\[10pt] \ell_\text{RE}(\theta) &= - \frac{n-1}{2} \ln \theta - \frac{\theta}{2} \sum_{i=1}^n (x_i-\bar{x})^2. \end{aligned} \end{equation}$

我们通过最大化残差似然来获得精度参数的REML估计量，这为方差给出了无偏估计量：

\frac{1}{{\hat{θ}}_{REML}} = \frac{1}{n - 1} \sum_{i = 1}^{n} (x_{i} - \bar{x})^{2} .

$\frac{1}{\hat{\theta}_\text{REML}} = \frac{1}{n-1} \sum_{i=1}^n (x_i-\bar{x})^2.$

在这种情况下，REML估算器将对应于“先验”密度的MAP估算器：

π (θ) \propto θ^{n / 2} \exp (\frac{θ}{2} \sum_{i = 1}^{n} (x_{i} - ν)^{2}) .

$\pi(\theta) \propto \theta^{n/2} \exp \Bigg( \frac{\theta}{2} \sum_{i=1}^n (x_i-\nu)^2 \Bigg).$

如您所见，此“优先级”实际上取决于观察到的数据值，因此实际上无法在查看数据之前形成。此外，我们可以看到，显然，在和极值上施加越来越大的权重是“不适当的”先验。（实际上，此先验是相当愚蠢的。）如果通过“巧合”来形成恰好与此结果相对应的先验，则REML估计器将是该先验下的MAP估计器，因此将具有贝叶斯解释作为在该先验条件下最大化后验的估计器。 $\theta$ $\nu$

— Ben-恢复莫妮卡
source

多么明确的答案！因此，我觉得我对REML的了解要好得多，这在很大程度上是我的主要目标。公开辩论的方法似乎本质上是进行识别，然后“解决”先验问题。然后，您继续拆除该先验，在我看来，这就像针对REML的批评（从贝叶斯观点）。做得漂亮！

— David C. Norris '18

是的，这就是我使用的方法。以此类推，我们通常通过相同的方法对MLE进行贝叶斯解释，即通过确定MLE是统一先验条件下的MAP。因此，总的来说，当我们想找到由某个函数最大化形成的经典估计量的贝叶斯类似物时，我们只需将该函数设置为后验，然后求解先验即可。如果这有道理，那么我们就可以很好地进行贝叶斯解释。如果先验是疯狂的（例如REML），那么我们有一个很好的论据，那就是没有好的贝叶斯解释。

— 本-恢复莫妮卡