（交互）MCMC用于多模式后路

我正在尝试使用MCMC从具有多种模式的后验样本中进行采样，这些模式之间的距离特别远。看起来在大多数情况下，这些模式中只有一种包含我要寻找的95％hpd。我试图实现基于回火模拟的解决方案，但这不能提供令人满意的结果，因为在实践中，从一种“捕获范围”到另一种“捕获范围”是昂贵的。

因此，在我看来，更有效的解决方案是从不同的起点运行许多简单的MCMC，并通过使MCMC相互交互而进入主导解决方案。您知道是否有实施此想法的适当方法？

注意：我发现http://lccc.eecs.berkeley.edu/Papers/dmcmc_short.pdf（分布式马尔可夫链Monte Carlo，Lawrence Murray）看上去很接近我在寻找的东西，但我真的不理解设计的函数。$R_i$

[编辑]：缺少答案似乎表明我的最初问题没有明显的解决方案（使从不同起点从相同目标分布进行采样的多个MCMC相互交互）。真的吗 ？为什么这么复杂？谢谢

首先，我建议您寻求一个更好的方法，或者至少是一种具有更深入描述的方法，因为您所引用的论文中的“分布式马尔可夫链蒙特卡洛”似乎并没有明确说明。优点和缺点没有得到很好的探讨。有一种方法，最近在arxiv中出现，称为“ 蠕虫汉密尔顿蒙特卡洛 ”，我建议对其进行检查。

回到您提供参考的论文，远程建议 $R_{i}(\theta_{i})$被非常模糊地描述。在应用部分中，它被描述为“在前面的t / 2个样本上的最大似然高斯”。也许这意味着您平均了$i^{th}$链？使用参考文献中的不良描述很难猜测。

[更新：]几个链和这个想法从后验分布的样品的应用程序之间的相互作用可以并行MCMC方法中找到，例如在这里。但是，运行多条链并强迫它们相互作用可能不适合多峰后部：例如，如果存在一个非常明显的区域，其中大部分后部分布都集中，则链的相互作用甚至可能由于坚持特定的条件而变得更糟。区域，而不探索其他不那么明显的区域/模式。因此，我强烈建议您寻找专门为多模式问题设计的MCMC。并且，如果您想创建另一个/新方法，则在了解“市场”中可用的内容之后，可以创建更有效的方法。

您应该尝试使用multinest：https : //arxiv.org/pdf/0809.3437.pdf https://github.com/JohannesBuchner/MultiNest 这是一个贝叶斯推理引擎，可以为您提供多模式分布的参数样本。

github链接包含您按照说明编译和安装的multinest源代码。它还具有更易于使用的python包装器。示例代码的前一部分用于约束您的参数，而似然部分包含您的似然性。设置文件包含您的所有设置，并在安装后将文件夹链嵌套输出。它将为您提供参数样本

在计算统计中，这似乎是一个困难且持续的问题。但是，有两种较不先进的方法应该可以使用。

假设您已经找到了几种不同的后验模式，并且很高兴看到它们是最重要的模式，并且这些模式后的后验是否合理正常。然后，您可以在这些模式下计算hessian（例如，使用R中的optim和hessian = T），并且可以将后验近似为正态（或t分布）的混合。参见Gelman等人的p318-319。（2003）“贝叶斯数据分析”以获取详细信息。然后，您可以使用正态/ t混合近似作为独立采样器中的提议分布，以从整个后验中获取样本。

我没有尝试过的另一个想法是“退火重要性抽样”（Radford Neal，1998，链接此处）。

尝试使用一种新的用于多模态的MCMC方法，一种具有吸引力的Metropolis算法（http://arxiv.org/abs/1601.05633）？该多模式采样器可与单个调整参数（例如Metropolis算法）一起使用，并且易于实现。