如何得出吉布斯采样？

我实际上是在犹豫地提出这个问题，因为恐怕我会被其他问题或维基百科上有关Gibbs抽样的问题提及，但是我不觉得它们描述了即将发生的事情。

给定条件概率： $p(x|y)$

$$\begin{array}{c|c|c} p(x|y) & y = y_0 & y = y_1 \\ \hline x = x_0 & \tfrac{1}{4} & \tfrac{2}{6} \\ \hline x = x_1 & \tfrac{3}{4} & \tfrac{4}{6} \\ \end{array}$$

还有一个条件概率： $p(y|x)$

$$\begin{array}{c|c|c} p(y|x) & y = y_0 & y = y_1 \\ \hline x = x_0 & \tfrac{1}{3} & \tfrac{2}{3} \\ \hline x = x_1 & \tfrac{3}{7} & \tfrac{4}{7} \\ \end{array}$$

我们可以唯一地得出联合概率：$f_{unique}=p(x,y)$

$$\begin{array}{c|c|c|c} p(x,y) & y = y_0 & y = y_1 & p(x) \\ \hline x = x_0 & a_0 & a_1 & c_0 \\ \hline x = x_1 & a_2 & a_3 & c_1 \\ \hline p(y) & b_0 & b_1 & \\ \end{array}$$

因为，尽管我们有未知数，但我们有更多（）线性方程：$8$$4*2+3$

$a_0+a_1+a_2+a_3=1 \\ b_0+b_1 = 1 \\ c_0+c_1 = 1$

以及：

$\tfrac{1}{4} b_0 = a_0 \\ \tfrac{3}{4} b_0 = a_2 \\ \tfrac{2}{6} (1-b_0) = a_1 \\ \tfrac{4}{6} (1-b_0) = a_3 \\ \tfrac{1}{3} c_0 = a_0 \\ \tfrac{2}{3} c_0 = a_1 \\ \tfrac{3}{7} (1-c_0) = a_2 \\ \tfrac{4}{7} (1-c_0) = a_3$

，很快解决了这个问题。也就是说，将等同于。这给出，其余部分如下。$c_0=\tfrac{3}{4}b_0$$\tfrac{2}{3}c_0=a_1$$\tfrac{2}{4}b_0=a_1$$\tfrac{2}{6}(1-b_0)=a_1$$b_0=\tfrac{2}{5}$

$$\begin{array}{c|c|c|c} p(x,y) & y = y_0 & y = y_1 & p(x) \\ \hline x = x_0 & \tfrac{1}{10} & \tfrac{2}{10} & \tfrac{3}{10} \\ \hline x = x_1 & \tfrac{3}{10} & \tfrac{4}{10} & \tfrac{7}{10} \\ \hline p(y) & \tfrac{4}{10} & \tfrac{6}{10} & \\ \end{array}$$

因此，现在我们继续进行下去。可以想象到间隔并保持上述结构完整（方程组多于未知数）。但是，当我们去（指向）随机变量实例时会发生什么？如何取样

$$x_a \sim p(x|y=y_b) \\ y_b \sim p(y|x=x_a)$$

迭代地导致？等效于约束，例如，如何确保？同样，。我们可以写下约束并从第一原理中得出吉布斯采样吗？$p(x,y)$$a_0 + a_1 + a_2 + a_3=1$$\int_X \int_Y p(x,y) dy dx = 1$$\int_Y p(y|x)dy=1$

因此，我对如何执行简单的Gibbs采样不感兴趣，但对如何派生它感兴趣，最好对如何证明它起作用（可能在某些条件下）感兴趣。

通常，从条件分布计算联合分布非常困难。如果条件分布是任意选择的，则甚至可能不存在共同的联合分布。在这种情况下，通常甚至很难证明条件分布是一致的。可用于得出联合分布的一个结果是布鲁克的引理， 通过选择固定状态，尽管我自己从未为此目的成功使用过它。有关该主题的更多信息，我将看朱利安·贝萨格（Julian Besag）的作品。

$$\frac{p(\mathbf{x})}{p(\mathbf{x}')} = \prod_i \frac{p(x_i \mid \mathbf{x}_{<i}, \mathbf{x}'_{>i})}{p(x_i' \mid \mathbf{x}_{<i}, \mathbf{x}'_{>i})},$$ $\mathbf{x}'$

为了证明Gibbs采样有效，最好采用其他方法。如果通过采样算法实现的马尔可夫链具有作为不变分布的分布，并且是不可约且非周期性的，则马尔可夫链将收敛到该分布（Tierney，1994）。$p$

Gibbs采样将始终使联合分布保持不变，从中可以得出条件分布：大致来说，如果并且我们对采样，则$(x_0, y_0) \sim p(x_0, y_0)$$x_1 \sim p(x_1 \mid y_0)$

$$(x_1, y_0) \sim \int p(x_0, y_0) p(x_1 \mid y_0) \, dx_0 = p(x_1 \mid y_0) p(y_0) = p(x_1, y_0).$$

也就是说，通过有条件采样更新不会更改采样的分布。$x$

但是，吉布斯采样并非总是不可约的。虽然我们始终可以应用它而不会破坏任何事物（从某种意义上说，如果我们已经有所需分布的样本，那么它就不会改变分布），但Gibbs采样是否会实际收敛于联合分布（一个简单的足够不可约的条件是密度在任何地方都是正的，。$p(\mathbf{x}) > 0$