为什么在分级贝叶斯模型中随机变量的可交换性至关重要？

为什么随机变量的可交换性对于分层贝叶斯建模至关重要？

可交换性不是分层模型的基本功能（至少不是在观察级别上）。从标准文献来看，它基本上是“独立且分布相同”的贝叶斯类似物。这只是描述您对当前情况所了解的一种方式。也就是说，“改组”不会改变您的问题。我想想到的一种方法是考虑给您的情况$x_{j}=5$ 但是你没有被告知 $j$。如果学习到$x_{j}=5$ 会让您怀疑的特定值 $j$比其他更多，则该序列不可交换。如果它什么都没告诉你$j$，则序列是可交换的。请注意，可插拔性是“在信息中”而不是“在现实中”-这取决于您所知道的。

尽管就观察到的变量而言，可交换性不是必不可少的，但是如果没有某种可交换性的概念，则可能很难适应任何模型，因为如果没有可交换性，您基本上就没有理由将观察结果汇集在一起​​。因此，我的猜测是，如果模型中某处没有可交换性，您的推论将更弱。例如，考虑$x_{i}\sim N(\mu_{i},\sigma_{i})$ 对于 $i=1,\dots,N$。如果$x_{i}$ 完全可以互换，那么这意味着 $\mu_{i}=\mu$ 和 $\sigma_{i}=\sigma$。如果$x_{i}$ 有条件地交换给定 $\mu_{i}$ 那么这意味着 $\sigma_{i}=\sigma$。如果$x_{i}$ 有条件地交换给定 $\sigma_{i}$ 那么这意味着 $\mu_{i}=\mu$。但是请注意，在这两种“有条件可交换”情况下，推理的质量均比第一种情况降低，因为存在额外的$N$问题中引入的参数。如果我们没有交换能力，那么我们基本上有$N$ 不相关的问题。

基本上可交换性意味着我们可以进行推断 $x_{i}\to \text{parameters}\to x_{j}$ 对于任何 $i$ 和 $j$ 可以部分交换

“基本”太含糊。但是要压制技术性，如果顺序$X=\{X_i\}$ 是可交换的，那么 $X_i$ 在给定一些不可观察的参数的条件下是独立的 $\Theta$ 具有概率分布 $\pi$。那是，$p(X) = \int p(X_i|\Theta)d\pi(\Theta)$。 $\Theta$ 不必是单变量甚至是有限的维，也可以进一步表示为混合物等。

这些条件独立性关系使我们能够拟合我们几乎可以肯定无法做到的模型，从这个意义上讲，可交换性至关重要。

不是！我这里不是专家，但我会给我两美分。通常，当您具有分层模型时，请说

$y|\Theta_{1} \sim \text{N}(X\Theta_{1},\sigma^2)$

$\Theta_{1}|\Theta_{2} \sim\text{N}(W\Theta_{2},\sigma^2)$

我们做出条件独立性假设，即条件为 $\Theta_{2}$， $\Theta_{1}$可以互换。如果第二层不可交换，则可以包含另一个使其可交换的层。但是，即使在您无法假设例外的情况下，该模型仍可能非常适合您在第一级的数据。

最后但并非最不重要的一点是，仅当您要根据De Finetti的表示定理进行思考时，可交换性才重要。您可能只是认为先验是可帮助您拟合模型的正则化工具。在这种情况下，可交换性假设与模型适合数据的情况一样好。换句话说，如果您认为贝叶斯层次模型是更好地适应数据的方法，那么可交换性在任何意义上都不是必不可少的。