Gibbs采样了MCMC方法吗?


11

据我了解,它是(至少是Wikipedia定义的)。但是我发现Efron *的这句话(加了强调):

马尔可夫链蒙特卡洛(MCMC)是现代贝叶斯统计的成功典范。MCMC及其姊妹方法“ Gibbs采样”允许在过于复杂而无法通过解析表达式表达的情况下,对后验分布进行数值计算。

现在我很困惑。这只是术语上的微小差异,还是Gibbs采样了MCMC之外的其他内容?

[*]:Efron 2011,“ The Bootstrap and Markov-Chain Monte Carlo”

Answers:


15

现在被称为Gibbs采样的算法形成了一个马尔可夫链,并使用蒙特卡洛模拟作为其输入,因此它的确落入了MCMC(马尔可夫链蒙特卡洛)方法的适当范围内。从历史上讲,该方法至少可以追溯到20世纪中叶,但是它并不为人所知,后来才被Geman and Geman(1984)的开创性论文推广,该论文研究了统计物理与方法的使用有关。在吉布斯分布(对于一些历史典故,见卡塞拉和乔治1992年,第167页)。

由于某种原因,尽管在论文中,Efron还是引用了Gibbs采样器,好像它不在MCMC的范围之内。他会在您提供的报价单以及本文的其他部分中做到这一点。由于他对这项技术的开篇引用是指“ Gibbs采样器”(用引号给出),因此他可能暗示了这样一个历史事实,即原始方法是通过统计物理学中的Gibbs分布开发的,并未纳入直到后来的MCMC的一般统计理论。关于他为什么这样说,这是我最好的猜测。

更新:由于埃夫隆教授还活着,所以我随便给他写信,问他为什么用这种方式描述吉布斯采样器。这是他的回应(经他的许可转载):

主要原因是历史原因...另一方面,Gibbs算法看起来与MCMC配方完全不同,需要做一些工作才能证明它在某种意义上是相同的。(Efron 2018,个人信件,省略号正本)


1
谢谢!我将等着看您是否从Efron博士那里得到答案,如果没有,我仍然会选择它作为答案。
加百利

4

与维基百科。更好的是,与以下MCMC研究人员一起:

Gibbs采样器是马尔可夫链蒙特卡洛算法的一个示例。实际上,这是Metropolis-Hastings算法的特例。通过模拟具有作为其固定分布的马尔可夫链,从分布生成随机绘图的任何算法都是Markov链蒙特卡罗算法,这正是Gibbs采样器所做的。π(θ)π(θ)

By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.