出色的Gibbs采样教程和参考

29

我想学习Gibbs采样的工作原理，并且正在寻找中级论文的基础。我具有计算机科学背景和基本的统计知识。

有人读过很好的材料吗？你在哪里学的？

谢谢

references gibbs

— 织物
source

2

搜集“ Gibbs采样”并不是获取有关该主题的广泛观点的一种好方法。我认为这是一个很好的起点，因为您倾向于以“怀疑的心态”来对待它-您不能将Google的词汇视为理所当然，因此您需要找到各种各样的观点。当然，在稍后尝试实现时，您可能需要信誉良好的资源。但是，从“信誉良好的来源”开始并不总是最好的主意，因为它们可能与某种特定的做事方式紧密相连，即他们知道“正确的方法”，而“其他所有方法都是错误的或无效的”。

— 概率

3

（+1）通常不欢迎使用Googling轻松回答的问题，但是IMO试图以Google排名无法做到的方式利用社区的集体智慧。有趣的是，人们发现了哪些真正对学习本材料有用的资源。

— ub

4

那就是问题所在。Google返回的结果太多，而且并非所有的论文或教程都不够清晰。

— fabrizioM

19

我将从以下内容开始：

卡塞拉，乔治；乔治·爱德华一世（1992）。“ 解释吉布斯采样器 ”。美国统计学家 46（3）：167–174。（免费PDF）

摘要：计算机密集型算法，例如Gibbs采样器，已在应用程序和理论工作中日益流行。但是，此类算法的属性有时可能并不明显。在这里，我们简单说明一下Gibbs采样器的工作方式和原因。我们通过分析来确定一个简单案例的属性，并提供对更复杂案例的洞察力。也有许多示例。

美国统计学家通常是一些简短的入门文章的很好的来源，这些文章不假设该主题具有任何先验知识，尽管他们确实假设您具有一定的概率和统计学背景，可以合理地预期美国人的背景统计协会。

— 1站
source

12

真正帮助我了解Gibbs采样的在线文章是Gregor Heinrich 进行文本分析的参数估计。它不是通用的Gibbs采样教程，而是以潜在的狄利克雷分配（一种潜在的用于文档建模的贝叶斯模型）进行讨论的。它详细介绍了数学。

涉及更详尽的数学细节的是Gibbs的“初学者抽样”。我的意思是详尽无遗的，因为它假设您知道一些多元演算，然后从该点开始规划每个步骤。因此，尽管数学很多，但没有一个是高级的。

我认为这些对您而言将比获得更高级结果的东西（例如证明Gibbs采样为何收敛到正确分布的结果）更有用。我指出的参考文献无法证明这一点。

— 杰森·蒙德
source

2

《科学计算中的蒙特卡洛策略》一书是极好的资源。它确实以数学上严格的方式解决了问题，但是您可以轻松地跳过对您不感兴趣的数学部分，并仍然从中获得大量实用建议。特别是，将Metropolis-Hastings和Gibbs采样捆绑在一起非常好，这一点至关重要。在大多数应用程序中，您需要使用Gibbs采样从后验分布中提取信息，因此了解总体上它如何适合Metropolis的逻辑将很有帮助。

— 伊利
source