基于马尔可夫链的抽样是蒙特卡洛抽样的“最佳”方法吗?有替代方案吗?


10

马尔可夫链蒙特卡洛方法是基于马尔可夫链的方法,它使我们能够从非标准分布中获取样本(在蒙特卡洛环境中),而我们无法直接从中提取样本。

我的问题是,为什么马尔可夫链对于蒙特卡洛采样来说是“最先进的”。另一个问题可能是,是否还有其他方法(如马尔可夫链)可用于蒙特卡洛采样?我知道(至少从研究文献的角度来看)MCMC具有深厚的理论根源(就(a)周期性,同质性和详细平衡之类的条件而言),但我想知道蒙特卡洛是否有任何“可比的”概率模型/方法卡洛采样类似于马尔可夫链。

如果我对问题的某些部分感到困惑(或者似乎完全令人困惑),请指导我。

Answers:


11

没有理由说明MCMC采样是“最好的”蒙特卡洛方法!通常,它至少比iid采样,相反,至少就所得的蒙特卡洛估计量的方差而言实际上,尽管该平均值当是马尔可夫链的平稳且极限分布时,收敛到期望,使用MCMC方法至少有两个缺点:

1Tt=1Th(Xt)
Eπ[h(X)]π(Xt)t
  1. 链需要“达到平稳性”,这意味着它需要忘记其初始值。换句话说,必须“足够大” 才能从分发。有时“足够大”可能会超出实验的计算预算几个数量级。X0tXtπ
  2. 值是相关的,从而导致其涉及的渐近方差 这通常超过,因此与iid样本相比,需要更长的模拟时间。Xt
    varπ(X)+2t=1covπ(X0,Xt)
    varπ(X)

话虽如此,MCMC在处理无法进行常规iid采样或成本太高且重要采样很难校准的设置时非常有用,特别是由于要模拟的随机变量的大小。

但是,诸如粒子滤波器之类的顺序蒙特卡洛方法可能更适合于动力学模型,在动力学模型中,数据来自突发事件,需要立即关注,并且可能在短时间内消失(即无法存储)。

总之,MCMC是一种非常有用(且使用非常频繁)的工具,用于处理常规蒙特卡洛解决方案无法解决的复杂设置。


8

有多种方法可以从分布中生成随机值,McMC是其中一种,但也可以考虑使用其他几种方法(没有马尔可夫链部分)。

单变量采样最直接的方法是生成一个统一的随机变量,然后将其插入逆CDF函数。如果您具有逆CDF,那么效果很好,但是当CDF和/或其逆很难直接计算时,这会很麻烦。

对于多变量问题,您可以从copula生成数据,然后对生成的值使用逆CDF方法以使变量之间具有一定程度的相关性(尽管为copula指定正确的参数以获得所需的相关性水平通常需要一些反复试验)。

拒绝采样是另一种方法,可用于从不需要知道CDF或其逆数(并且甚至不需要密度函数的归一化常数)的分布(单变量或多变量)中生成数据,但这在某些情况下会花费很多时间,效率很低。

如果您对自己生成的数据摘要感兴趣,而不是对自己的随机点感兴趣,那么重要性抽样是另一种选择。

吉布斯抽样是McMC抽样的一种形式,只要您知道每个变量在给定其他变量的条件下的分布,就可以在不知道多元分布确切形式的地方进行抽样。

还有其他一些,最好取决于您知道和不知道的内容以及特定问题的其他详细信息。McMC之所以受欢迎是因为它在许多情况下都可以很好地工作,并且可以推广到许多不同的情况。

By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.