汉密尔顿蒙特卡洛vs.顺序蒙特卡洛

我试图了解这两种MCMC方案的相对优缺点以及不同的应用领域。

• 什么时候使用，为什么？
• 当一个可能失败而另一个不失败时（例如，HMC在哪里适用，但SMC不适用，反之亦然）
• 一个天真地被授予的方法，能否将一种方法的实用性与另一种方法相比（即，一种方法通常更好）？

我目前正在阅读Betancourt关于HMC的出色论文。

哈密​​顿量的蒙特卡洛在“怪异”形状的连续目标分布上表现良好。它要求目标分布是可区分的，因为它基本上使用目标分布的斜率来知道要去哪里。完美的例子是香蕉形状的功能。

这是香蕉功能中的标准Metropolis Hastings：接受率为66％，覆盖率很差。

这是HMC的情况：99％的接受度和良好的覆盖率。

当目标分布为多峰时，SMC（粒子滤波背后的方法）几乎是无与伦比的，尤其是当有多个质量独立的区域时。而不是将一个马尔可夫链困在一个模式中，而是让多个马尔可夫链并行运行。请注意，您使用它来估计一系列分布，这些分布通常具有更高的清晰度。您可以使用类似模拟退火的方法（在目标上逐渐增加指数）来生成增加的清晰度。或通常，在贝叶斯上下文中，分布序列是后验序列：

例如，此序列是SMC的绝佳目标：

SMC的并行特性使其特别适合于分布式/并行计算。

摘要：

• HMC：适合拉长的怪异目标。不适用于非连续功能。
• SMC：适用于多模式和不连续的情况。对于高维怪异的形状，收敛速度可能会变慢或使用更多的计算能力。

资料来源：大部分图片来自于纸，我写结合2种方法（汉密尔顿连续蒙特卡洛）。这种组合几乎可以模拟我们可以抛出的任何分布，即使是非常大的尺寸。