吉布斯采样与常规MH-MCMC

20

我一直在阅读有关Gibbs采样和Metropolis Hastings算法的文章，并有几个问题。

据我了解，在吉布斯抽样的情况下，如果我们有一个大的多元问题，我们从条件分布中抽样，即抽样一个变量，而其他变量保持不变，而在MH中，我们从整个联合分布抽样。

该文件说的一件事是，建议的样本始终在Gibbs抽样中接受，即建议的接受率始终为1。对我来说，这似乎是一个很大的优势，因为对于大型多元问题，MH算法的拒绝率似乎变得很大。如果确实如此，那么为什么一直不使用Gibbs Sampler来生成后验分布的原因是什么？

— 路卡
source

11

构造良好的多元MH建议可能甚至会大大超过Gibbs采样，甚至可以从条件采样中进行采样（例如，高维多元正态，当变量高度相关时，HMC在很大程度上击败了Gibbs）。这是因为Gibbs采样不允许变量共同演化。这有点类似于通过迭代优化各个参数来优化函数-如果共同优化所有参数而不是连续优化每个参数，则可能会做得更好，尽管后者更容易做到。

— 2014年

Metropolis-Hastings可以使用有条件的提案进行抽样。你指的是一个特定类型的 MH的？

— Glen_b-恢复莫妮卡2014年

1

感谢您的评论。不，我只是在总体上思考为什么不更频繁地使用Gibbs Sampler。忽略了必须为Gibbs采样先验地知道条件分布形式的事实。对于我当前的需求，似乎结合使用效果最好。因此，对一个参数子集使用MH步骤，同时保持其他参数不变，然后对其他子集使用Gibbs（其中条件易于分析求值）。我才刚刚开始，所以还不了解各种类型的MH。对此的任何建议是感激的：-)

— 卡（Luca）2014年

12

使用Metropolis算法的主要原理是，即使后验结果未知，您也可以使用它。对于吉布斯抽样，您必须知道从中提取变量的后验分布。

— 用户名
source

1

谢谢回复！因此，对于GS，想法是条件条件是更简单的分布，可以很容易地从中进行采样，而联合分布（虽然已知）可能是很难从中进行采样的复杂分布吗？

— 卡2014年

2

是的，这是真的。但是，通常经常将Gibbs采样和Metropolis结合使用。因此，对某些变量进行条件调整可能会给您带来封闭形式的后验，而对另一些变量则不可能，因此您必须使用“ Metropolis步骤”。在这种情况下，您必须确定要使用哪种类型的Metropolis采样器（独立，随机游走）以及使用哪种建议密度。但是我想这有点过头了，您应该宁愿自己先阅读这些内容。

— user3777456 2014年

3

Gibbs采样打破了采样中维数的诅咒，因为您已经将（可能是高维数）参数空间分解为几个低维步骤。Metropolis-Hastings减轻了生成拒绝采样技术的一些维数问题，但您仍在从完整的多变量分布中采样（并决定接受/拒绝样本），这会使算法遭受维数诅咒的困扰。

以这种简化的方式来考虑：一次建议一个变量（Gibbs）的更新要比同时建议所有变量（Metropolis Hastings）容易得多。

话虽如此，参数空间的维数仍将影响Gibbs和Metropolis Hastings的收敛，因为还有更多参数可能无法收敛。

Gibbs也是不错的选择，因为Gibbs循环的每个步骤都可以采用封闭形式。这在分层模型中通常是这种情况，其中每个参数仅以其他几个为条件。构造模型通常很简单，这样每个Gibbs步骤都处于封闭形式（当每个步骤是共轭时，有时也称为“半共轭”）。这很好，因为您是从已知分布中进行采样的，通常可能会非常快。

— TrynDoDoStat
source

“ Gibbs采样打破了采样中的维数诅咒”：实际上，Gibbs采样往往比诸如Metropolis Hastings具有自适应建议协方差矩阵的东西差很多。

— Cliff AB