Gibbs采样算法能否保证详细的平衡？

我以最高权限¹认为Gibbs采样是用于马尔可夫链蒙特卡洛采样的Metropolis-Hastings算法的特例。MH算法总是给出具有详细平衡属性的转移概率；我希望吉布斯也应该如此。那么在以下简单情况下，我哪里出错了？

对于两个离散变量（为简单起见上的目标分布，完整的条件分布为： $\pi(x, y)$

$$\begin{align} q_1 (x;y) & =\frac{\pi (x,y)}{\sum_z \pi (z,y)} \\ q_2 (y;x) & =\frac{\pi (x,y)}{\sum_z \pi (x,z)} \end{align}$$

据我了解的吉布斯采样，可以写出转移概率：

$$Prob\{(y_1, y_2) \to (x_1, x_2)\} = q_1(x_1; y_2) q_2(x_2; x_1)$$

问题是 但是我能得到的最接近的是 稍有不同，并不意味着详细的平衡。感谢您的任何想法！

$$\pi(y_1,y_2) Prob\{(y_1, y_2) \to (x_1, x_2)\} \overset{?}{=} \pi(x_1,x_2) Prob\{(x_1, x_2) \to (y_1, y_2)\},$$ $$\begin{align} \pi(y_1,y_2) Prob\{(y_1, y_2) & \to (x_1, x_2)\} \\ & = \pi(y_1, y_2) q_2(x_2; x_1) q_1(x_1; y_2) \\ & = \frac{\pi(x_1, x_2)}{\sum_z \pi(x_1,z)}\frac{\pi(x_1, y_2)}{\sum_z \pi(z, y_2)}\pi (y_1, y_2) \\ & = \pi(x_1, x_2) q_2(y_2; x_1) q_1(y_1; y_2) \end{align}$$

您试图显示马尔可夫链的详细平衡，该平衡是通过将马尔可夫链的一个过渡视为“吉布斯扫描”而获得的，在该过渡中您从其条件分布中依次采样每个分量。对于此链，无法满足详细的平衡。关键是，从特定组件的条件分布中进行的每个采样都是满足详细平衡的过渡。准确地说，吉布斯抽样是大都会都市的特殊情况，您可以在多个不同的建议之间进行交替。接下来是更多细节。

扫描不满足详细的平衡

我构造一个反例。考虑两个伯努利变量（），其概率如下表所示： 假设吉布斯扫描是有序的，以便对进行采样第一。从状态到状态的移动是不可能的，因为这需要从到。但是，从移至可能性为正，即$X_1,X_2$

$$\begin{equation} \begin{array}{ccc} & X_2 = 0 & X_2 = 1 \\ X_1 = 0 & \frac{1}{3} & \frac{1}{3} \\ X_1 = 1 & 0 & \frac{1}{3} \end{array} \end{equation}$$ $X_1$$(0,0)$$(1,1)$$(0,0)$$(1,0)$$(1,1)$$(0,0)$$\frac{1}{4}$。因此，我们得出结论，不能满足详细的平衡要求。

但是，此链仍然具有正确的固定分布。详细平衡是收敛到目标分布的充分但非必要条件。

组件移动满足详细平衡

考虑一个二变量状态，我们从其条件分布中采样第一个变量。在和之间移动$(x_1,x_2)$$(y_1,y_2)$如果在两个方向上的概率均为零，因此显然可以保持详细的平衡。接下来，考虑： $x_2 \neq y_2$$x_2 = y_2$

$$\begin{equation} \pi(x_1,x_2) \mathrm{Prob}((x_1,x_2) \rightarrow (y_1,x_2)) = \pi(x_1,x_2)\,p(y_1 \mid X_2 = x_2) = \pi(x_1,x_2) \, \frac{\pi(y_1,x_2)}{\sum_z \pi(z,x_2)} \\ = \pi(y_1,x_2) \, \frac{\pi(x_1,x_2)}{\sum_z \pi(z,x_2)} = \pi(y_1,x_2) \,p(x_1 \mid X_2 = x_2) = \pi(y_1,x_2) \mathrm{Prob}((y_1,x_2) \rightarrow (x_1,x_2)). \end{equation}$$

Metropolis-Hastings动作在组件方面的动作如何？

从第一个部分进行抽样，我们的提案分配是条件分配。（对于所有其他组件，我们建议使用概率的当前值）。考虑到从的移动$1$$(x_1, x_2)$到，目标概率的比率为 但提案概率的比率为 $(y_1, y_2)$

$$\begin{equation} \frac{\pi(y_1,x_2)}{\pi(x_1,x_2)}. \end{equation}$$ $$\begin{equation} \frac{\mathrm{Prob}((y_1,x_2) \rightarrow (x_1,x_2))}{\mathrm{Prob}((x_1,x_2) \rightarrow (y_1,x_2))} = \frac{\frac{\pi(x_1,x_2)}{\sum_z \pi(z,x_2)}}{\frac{\pi(y_1,x_2)}{\sum_z \pi(z,x_2)}} = \frac{\pi(x_1,x_2)}{\pi(y_1,x_2)}. \end{equation}$$ 因此，目标概率的比率与提议概率的比率是倒数，因此接受概率为。从这个意义上说，吉布斯采样器中的每个动作都是Metropolis-Hastings动作的特例。但是，从这个角度来看，总体算法是对典型呈现的Metropolis-Hastings算法的略微概括，因为您可以在不同的提案分配之间进行替换（目标变量的每个组成部分为一个）。$1$