关于条件独立性及其图形表示

在研究协方差选择时，我曾经阅读以下示例。关于以下模型：

其协方差矩阵和逆协方差矩阵如下：

我不明白为什么和的独立性是由逆协方差决定的？$x$$y$

这种关系背后的数学逻辑是什么？

同样，下图的左图要求捕获和之间的独立关系；为什么？$x$$y$

逆协方差矩阵可用于计算多元高斯分布的条件方差和协方差。一个较早的问题提供了一些参考

例如，要查找给定值的和的条件协方差，可以采用协方差逆矩阵的右下角$Y$$Z$$X=x$

$$\left( \begin{array}{rr} 1 & -1 \\ -1 & 3 \end{array} \right) \text{ and re-invert it to }\left( \begin{array}{rr} \tfrac32 & \tfrac12 \\ \tfrac12 & \tfrac12 \end{array} \right)$$

确实的确给出了和的值作为条件的和的协方差矩阵。$Y$$Z$$X=x$

因此，类似地在给定的情况下找到和的条件协方差矩阵，您将采用逆协方差矩阵的左上角$X$$Y$$Z=z$

$$\left( \begin{array}{cc} 1 & 0 \\ 0 & 1 \end{array} \right) \text{ and re-invert it to }\left( \begin{array}{cc} 1 & 0 \\ 0 & 1 \end{array} \right)$$

告诉您在给定的情况下和之间的条件协方差为（并且它们的每个条件方差均为）。 $X$$Y$$Z=z$$0$$1$

要得出结论，该零条件协方差意味着条件独立性，您还必须使用以下事实：这是一个多元高斯函数（因为通常零协方差不一定表示独立性）。您从构造中知道这一点。

可以说，您还知道了与构造无关的条件独立性，因为您被告知和是iid，因此以的特定值为条件，和也是iid 。如果您知道，那么不会提供任何其他信息来帮助您说明可能值。$\epsilon_1$$\epsilon_2$$Z=z$$X=z+\epsilon_1$$Y=z+\epsilon_2$$Z=z$$X$$Y$

这是对正确答案的补充。特别是，原始问题包含有关该书所作陈述的后续问题。

另外，下图的左图声称捕获了和之间的独立关系，为什么？ $X$$Y$

这是此答案中要解决的问题，也是此答案中唯一要解决的问题。

为了确保我们在同一页上，在接下来的内容中，我使用以下（无向的）条件独立图的定义，该定义（至少大致对应于）马尔可夫随机字段：

定义：的条件独立性图表是无向图，其中和是未在边集合，当且仅当。（其中 表示除和之外的所有随机变量的向量。）$X$$G=(K,E)$$K=\{ 1, 2, \dots, k \}$$(i,j)$ X K ∖ { i ，j } X i X $X_i \perp \! \! \! \perp X_j | X_{K \setminus \{i,j\}}$$X_{K \setminus \{i,j\}}$$X_i$$X_j$

从第。Whittaker 60，《应用数学多元统计中的图形模型》（1990年）。

在这里，使用Henry在正确的，可接受的答案中给出的参数，我们可以确定和在给定条件下独立于，表示为。Ÿ ž X $X$$Y$$Z$$X \perp \! \! \perp Y \ | Z$

由于只有三个随机变量是和，这意味着当给定所有其他剩余的随机变量（在这种情况下仅为）时，和在条件上是独立的。Z X Y $X, Y$$Z$$X$$Y$$Z$

使用上面给出的条件独立图的定义，这意味着图中应包括除和之间的边以外的所有边。确实，这正是该图片右图所示的内容。$X$$Y$

关于左图，尚不清楚是否需要更多上下文，但我认为其目的只是为了说明如果逆协方差矩阵的那些条目中没有零，那么条件独立图将是什么样。

特别地，使用上面的定义，我们看到我们可以从节点上的完整图开始，它是该图片中的左侧图，然后通过删除所有边缘对应于条件独立随机变量。图片确实明确地比较了两个图（“对比”），这对我来说是一个比较，即如果/当它们应用给定的条件独立图的定义时，一个完整图可能以该条件开始，而一个条件独立图则以结果结束。以上。$X, Y, Z$