与吉布斯抽样有关的混乱

我看到这篇文章时说，在吉布斯采样中，每个样本都被接受。我有点困惑。如果每个接受的样本都收敛到平稳分布，结果如何。

在一般的Metropolis算法中，我们接受为min（1，p（x *）/ p（x）），其中x *是采样点。我假设x *将我们指向密度很高的位置，因此我们正在向目标分布移动。因此，我认为经过一段时间的老化后，它会移动到目标分布。

但是，在吉布斯采样中，我们接受了所有内容，因此即使它可能将我们带到另一个地方，也不能说它收敛于平稳/目标分布

假设我们有一个分布 $p(\theta) = c(\theta)/Z$ 。我们无法计算Z。在大都会算法中，我们使用以下术语 $c(\theta^{new})/c(\theta^{old})$ 合并发行版 $c(\theta)$ 加上归一化常数Z抵消了。这样很好

但是在吉布斯抽样中，我们在哪里使用分布 $c(\theta)$

例如在论文中http://books.nips.cc/papers/files/nips25/NIPS2012_0921.pdf其给定

所以我们没有确切的条件分布可用来进行抽样，我们只有与条件分布成正比的东西

在此处输入图片说明

mcmc gibbs metropolis-hastings

— 用户名
source

如果，都会都市会发生什么？

p (x *) / p (x)

$p(x*)/p(x)$ 总是1？

— Glen_b-恢复莫妮卡2013年

Answers:

当我们使用Metropolis-Hastings算法时，我们必须计算接受率

α = 分 （ 1个 ， \frac{p （ X^{*} ）}{p （ X ）} ）

$\alpha=\min(1,\frac{p(x^*)}{p(x)})$ 并让随机变量

U \sim Uniform(0,1)

$U\sim\text{Uniform(0,1)}$ 那么我们接受随机变量

U < α

$U<\alpha$ 。

但是，在Gibbs抽样中，我们总是会排除随机变量，因为我们不必计算接受率（实际上您可以这样做，但是当您插入东西时，您会看到一切都消失了，接受率是 $\alpha=1$ 所以很清楚 $U$ 总是小于 $\alpha$ 因此，您始终会接受）。但是，您也可以直观地想到它，在Gibbs抽样中，您是从全条件抽样的，这是一个封闭形式的表达式，我们可以直接从中抽取，因此不需要像Metropolis-Hastings算法那样拒绝抽样。不知道如何从中取样（或通常不识别其形式） $p(x)$ 。希望有帮助！

在此处输入图片说明

我不明白为什么一切都会取消。好吧，我们必须从分布中取样

p (θ)

$p(\theta)$ 3个变量。因此，当您要用封闭形式表达完全条件时，您的意思是p（x1 | x2，x3）p（x2 | x1，x3）和p（x3 | x1，x2）。我的问题是在吉布斯采样的情况下，我们确实知道从要采样的实际分布p中获得的条件分布。你是这个意思吗。在Metropolis算法的情况下，我们不知道p，但是知道诸如c之类的东西，使得p（x）= c（x）/ Z？

— user34790

假设我们从变量x1，x2和x3的随机值开始，如何说其平稳分布收敛了所需的分布。这样做的标准是什么？

— user34790

假设我有一个分配

p (θ) = c (θ) / Z

$p(\theta) = c(\theta)/Z$ 。我不知道Z。那我该如何采样

p (θ)

$p(\theta)$ 使用Gibbs采样

— 2013年

我在上面添加了一个证明为什么总是它的证明。要使用Gibbs采样，您需要知道完整的条件是什么。

接受率等于1的错字的证明，即在中间和第三部分的分母中，q的表达式应具有z_i素数，从而最终得到P（z_i prime | z_i素数）。

亚历克斯

— 用户名
source