稳健的边际可能性MCMC估计器？

9

我正在尝试通过蒙特卡洛方法来计算统计模型的边际可能性：

f (x) = \int f (x ∣ θ) π (θ) d θ

$f(x) = \int f(x\mid\theta) \pi(\theta)\, d\theta$

可能性表现良好-平滑，对数凹入-但维数高。我已经尝试过重要性抽样，但是结果很奇怪，并且在很大程度上取决于我使用的建议。我简要地考虑了假设哈密顿量在前一个统一的基础上，进行哈密顿量计算 $\theta$ 并以谐波均值，直到我看到了。经验教训，谐波均值可以具有无限方差。是否存在替代MCMC估算器，该估算器几乎一样简单，但具有良好的方差？

monte-carlo likelihood marginal

— 大卫·普福
source

您还可以考虑先前的基本蒙特卡洛采样。

f (x) = E_{π (θ)} (f (x | θ))

$f(x)=E_{\pi(\theta)}(f(x|\theta))$

— 概率

1

那是一种可能的解决方案。在这种情况下，请记住，不再允许使用不合适的先验，并且具有广泛分布支持的先验可能会使蒙特卡洛近似变得困难。

— 禅

1

有关这一问题的完整书籍是Chen，Shao和Ibrahim（2001）。您还可以搜索诸如嵌套采样，桥梁采样，防御性采样，粒子过滤器，Savage-Dickey之类的关键字。

— 2013年

8

如何退火重要性抽样？它有很多比普通的重要性采样低方差。我已经看到它被称为“黄金标准”，并且实现起来并不比“正常”重要性抽样难得多。从某种意义上说，这是较慢的，您必须为每个样本进行一堆MCMC移动，但是每个样本的质量往往很高，因此在估算成立之前，您不需要那么多的移动。

另一个主要选择是顺序重要性抽样。我的感觉是，它的实现也相当简单，但是它需要对我缺乏的顺序蒙特卡洛（AKA粒子滤波）有所了解。

祝好运！

编辑添加：看起来像您链接到的Radford Neal博客文章还建议了退火重要性抽样。让我们知道它是否适合您。

— 戴维·哈里斯
source

2

这可能有助于对边际分布计算有所了解。另外，我建议通过Friel和Pettitt引入的后代方法使用一种方法。尽管这种方法有一些局限性，但它似乎是很过时的。或者，您也可以按正态分布对后验分布进行拉普拉斯近似：如果MCMC的直方图看起来是对称且正态的，那么这可能是一个很好的近似。

— 托马斯
source