完全条件可以确定联合分布吗？

我听说所有完全条件（如Gibbs抽样中所用）都可以确定联合分布。但是我不明白为什么和如何。还是我听错了？谢谢！

distributions

— 提姆
source

这个看似简单的问题比它看起来的要深，将我们带到了Hammersley-Clifford定理。我们可以从全部条件中恢复联合分布的事实使Gibbs采样器成为可能。如果我们记得边际不能确定联合分布，那么这可能是令人惊讶的结果。

让我们看看如果我们使用关节，条件和边际密度的众所周知的定义进行正式计算，会发生什么。以来

f_{X, Y} (x, y) = f_{X ∣ Y} (x ∣ y) f_{Y} (y) = f_{Y ∣ X} (y ∣ x) f_{X} (x),

$f_{X,Y}(x,y)=f_{X\mid Y}(x\mid y)\,f_Y(y)=f_{Y\mid X}(y\mid x)\,f_X(x) \, ,$ 我们有

\int \frac{f_{Y ∣ X} (y ∣ x)}{f_{X ∣ Y} (x ∣ y)} d y = \int \frac{f_{ÿ} （ ÿ ）}{F_{X} （ X ）} d ÿ = \frac{1个}{F_{X} （ X ）} ，

$\int \frac{f_{Y\mid X}(y\mid x)}{f_{X\mid Y}(x\mid y)}dy = \int \frac{f_Y(y)}{f_X(x)}dy = \frac{1}{f_X(x)} \, ,$ 我们可以从全条件制作中正式恢复关节密度

F_{X ， ÿ} （ X ， ÿ ） = \frac{F_{ÿ ∣ X} （ ÿ ∣ X ）}{\int F_{ÿ ∣ X} （ ÿ ∣ X ） / F_{X ∣ ÿ} （ X ∣ ÿ ） d ÿ} 。 （ * ）

$f_{X,Y}(x,y) = \frac{f_{Y\mid X}(y\mid x)}{\int f_{Y\mid X}(y\mid x)/f_{X\mid Y}(x\mid y)\,dy} \, . \qquad (*)$

形式化计算的问题在于，它假定所有涉及的对象确实存在。

例如，考虑如果我们得到

X ∣ ÿ = ÿ 〜 经验值 （ ÿ ） 和 ÿ ∣ X = X 〜 经验值 （ X ） 。

$X\mid Y=y\sim\text{Exp}(y) \qquad \text{and} \qquad Y\mid X=x\sim\text{Exp}(x) \, .$ 它遵循

f_{Y ∣ X} (y ∣ x) / f_{X ∣ Y} (x ∣ y) = x / y

$f_{Y\mid X}(y\mid x)/f_{X\mid Y}(x\mid y) = x /y$ ，以及分母的整数

(*)

$(*)$ 发散。

为了确保我们可以使用以下条件从全部条件中恢复关节密度 $(*)$ 我们需要本文讨论的兼容性条件：

“兼容的条件分布”，Barry C. Arnold和S. James Press，《美国统计协会杂志》，第1卷。84，第405（1989），第152-156页。

最后，阅读罗伯特和卡塞拉的书中有关哈默斯利-克利福德定理的讨论

— 禅
source

您能否澄清“……整体存在”的含义？这里似乎有两个不同的问题，即。（i）做积分

\int \frac{F_{ÿ ∣ X} （ ÿ ∣ X ）}{F_{X ∣ ÿ} （ X ∣ ÿ ）} d ÿ

$\int \frac{f_{Y\mid X}(y\mid x)}{f_{X\mid Y}(x\mid y)}dy$ 存在与否？（ii）如果积分存在，则其值为

\frac{1}{f_{X} (x)}

$\frac{1}{f_X(x)}$ ？还是你说的是

X

$X$ 和

Y

$Y$ 具有条件密度

\int \frac{F_{ÿ ∣ X} （ ÿ ∣ X ）}{F_{X ∣ ÿ} （ X ∣ ÿ ）} d ÿ

$\int \frac{f_{Y\mid X}(y\mid x)}{f_{X\mid Y}(x\mid y)}dy$ 存在，那么必须是积分的值是

\frac{1}{f_{X} (x)}

$\frac{1}{f_X(x)}$ ？

— Dilip Sarwate 2014年

谢谢，@ Zen！

f_{Y}

$f_Y$ 和

f_{X | Y}

$f_{X|Y}$ 可以确定

f_{X, Y}

$f_{X,Y}$ 和

f_{Y | X}

$f_{Y|X}$ 和

f_{X | Y}

$f_{X|Y}$ 也可以确定

f_{X, Y}

$f_{X,Y}$ 。（1）哪个提供更多信息，

f_{Y}

$f_Y$ 要么

f_{Y | X}

$f_{Y|X}$ ？（2）哪个提供较少的冗余/重叠信息

f_{X | Y}

$f_{X|Y}$ ，

f_{Y}

$f_Y$ 要么

f_{Y | X}

$f_{Y|X}$ ？（3）在

f_{Y}

$f_Y$ 和

f_{Y | X}

$f_{Y|X}$ ，其中一个已经提供了另一个的信息（我怀疑，因为这暗示着一个导致了另一个）？我想这是信息之间的“交集”

f_{Y}

$f_Y$ 和的

f_{Y | X}

$f_{Y|X}$ ，连同

f_{X | Y}

$f_{X|Y}$ 确定

f_{X, Y}

$f_{X,Y}$ 。

— 蒂姆（Tim）

嗨@Tim。

f_{Y}

$f_Y$ 代表您不确定

Y

$Y$ ，而

f_{Y ∣ X}

$f_{Y\mid X}$ 代表您不确定

Y

$Y$ ，因为您知道

X

$X$ 。“哪个包含更多信息？” 这不是一个容易的问题。如果

f_{X ∣ Y}

$f_{X\mid Y}$ 和

f_{Y ∣ X}

$f_{Y\mid X}$ 是兼容的（就Arnold和Press而言），然后他们确定

f_{X, Y}

$f_{X,Y}$ 通过

(*)

$(*)$ 。

— 2014年

我目前正面临着同样的问题。我对兼容的条件分布的需求有些困惑，因为在Gibbs采样的任何（至少我已经读过的）介绍中都没有提到这些条件分布。还是仅当试图通过（*）正式恢复联合分布时才需要兼容的条件分布。->是否不通过吉布斯抽样来近似联合分布？

— sklingel 2015年

在应用于统计问题的常规Gibbs采样设置中，您假定存在联合概率（后验）分布，因此从该联合分布导出的全部条件是兼容的。除此以外，Gibbs采样是没有意义的。

— 西安