推导多元正态分布的条件分布

114

我们有一个多元法向向量 ${\boldsymbol Y} \sim \mathcal{N}(\boldsymbol\mu, \Sigma)$ 。考虑将 $\boldsymbol\mu$ 和 ${\boldsymbol Y}$ 划分为

μ = [\begin{matrix} μ_{1} \\ μ_{2} \end{matrix}]

$\boldsymbol\mu = \begin{bmatrix} \boldsymbol\mu_1 \\ \boldsymbol\mu_2 \end{bmatrix}$

Y = [\begin{matrix} y_{1} \\ y_{2} \end{matrix}]

${\boldsymbol Y}=\begin{bmatrix}{\boldsymbol y}_1 \\ {\boldsymbol y}_2 \end{bmatrix}$

将的类似分区划分 $\Sigma$ 为

[\begin{matrix} Σ_{11} & Σ_{12} \\ Σ_{21} & Σ_{22} \end{matrix}]

$\begin{bmatrix} \Sigma_{11} & \Sigma_{12}\\ \Sigma_{21} & \Sigma_{22} \end{bmatrix}$ 然后，

(y_{1} | y_{2} = a)

$({\boldsymbol y}_1|{\boldsymbol y}_2={\boldsymbol a})$ ，给定第二个分区的第一个分区的条件分布为

N (\bar{μ}, \bar{Σ})

$\mathcal{N}(\overline{\boldsymbol\mu},\overline{\Sigma})$ ，其均值

\bar{μ} = μ_{1} + Σ_{12} {Σ_{22}}^{- 1} (a - μ_{2})

$\overline{\boldsymbol\mu}=\boldsymbol\mu_1+\Sigma_{12}{\Sigma_{22}}^{-1}({\boldsymbol a}-\boldsymbol\mu_2)$ 和协方差矩阵

\bar{Σ} = Σ_{11} - Σ_{12} {Σ_{22}}^{- 1} Σ_{21}

$\overline{\Sigma}=\Sigma_{11}-\Sigma_{12}{\Sigma_{22}}^{-1}\Sigma_{21}$

实际上，这些结果也已在Wikipedia中提供，但是我不知道 $\overline{\boldsymbol\mu}$ 和 $\overline{\Sigma}$ 是如何得出的。这些结果至关重要，因为它们是推导卡尔曼滤波器的重要统计公式。有人能提供我推导 $\overline{\boldsymbol\mu}$ 和的推导步骤 $\overline{\Sigma}$ 吗？非常感谢你！

normal-distribution conditional-probability

— 飞猪
source

这个想法是使用条件密度。您知道联合是一个双变量法线，而边际是一个法线，那么您只需要替换这些值并进行令人讨厌的代数即可。这些说明可能会有所帮助。这是完整的证明。

f (y_{1} | y_{2} = a) = \frac{f_{Y_{1}, Y_{2}} (y_{1}, a)}{f_{Y_{2}} (a)}

$f(y_1\vert y_2=a)=\dfrac{f_{Y_1,Y_2}(y_1,a)}{f_{Y_2}(a)}$

f_{Y_{1}, Y_{2}}

$f_{Y_1,Y_2}$

f_{Y_{2}}

$f_{Y_2}$

您的第二个链接回答了问题（+1）。为什么不把它作为答案@Procrastinator？

— gui11aume12年

我没有意识到这一点，但是我认为我在条件PCA中隐式使用了该方程。条件PCA需要变换被有效地计算给定A的一些选择条件协方差矩阵

(I - A^{'} {(A A^{'})}^{- 1} A) Σ

$\left(I-A'\left(AA'\right)^{-1}A\right)\Sigma$

— 约翰

@Procrastinator-您的方法实际上需要了解Woodbury矩阵恒等式的知识以及逐块矩阵求逆的知识。这些导致不必要的复杂矩阵代数。

— 概率

@probabilityislogic实际上，结果在我提供的链接中得到了证明。但是，如果您发现它比其他方法更复杂，那是值得尊重的。另外，我没有在评论中尝试提供最佳解决方案。另外，我的评论是在Macro的回答之前发表的（正如您所看到的，我对此表示赞同）。

Answers:

111

您可以通过用蛮力显式计算条件密度来证明这一点，如评论中Procrastinator的链接（+1）所示。但是，还有一个定理说多元正态分布的所有条件分布都是正态的。因此，剩下的就是计算均值向量和协方差矩阵。我记得我们是在大学的时间序列课程中通过巧妙地定义第三个变量并使用其属性来得出结果的，而不是通过链接中的强力解决方案（只要您对矩阵代数感到满意），就可以得出该结果。我要从记忆中走出来，但这是这样的：

假设为第一个分区，为第二个分区。现在定义，其中。现在我们可以写 ${\bf x}_{1}$ ${\bf x}_2$ ${\bf z} = {\bf x}_1 + {\bf A} {\bf x}_2$ ${\bf A} = -\Sigma_{12} \Sigma^{-1}_{22}$

\begin{aligned} c o v (z, x_{2}) & = c o v (x_{1}, x_{2}) + c o v (A x_{2}, x_{2}) \\ = Σ_{12} + A v a r (x_{2}) \\ = Σ_{12} - Σ_{12} Σ_{22}^{- 1} Σ_{22} \\ = 0 \end{aligned}

$\begin{align*} {\rm cov}({\bf z}, {\bf x}_2) &= {\rm cov}( {\bf x}_{1}, {\bf x}_2 ) + {\rm cov}({\bf A}{\bf x}_2, {\bf x}_2) \\ &= \Sigma_{12} + {\bf A} {\rm var}({\bf x}_2) \\ &= \Sigma_{12} - \Sigma_{12} \Sigma^{-1}_{22} \Sigma_{22} \\ &= 0 \end{align*}$

因此和是不相关的，并且由于它们是共同正常的，所以它们是独立的。现在，显然，因此得出 ${\bf z}$ ${\bf x}_2$ $E({\bf z}) = {\boldsymbol \mu}_1 + {\bf A} {\boldsymbol \mu}_2$

\begin{aligned} E (x_{1} | x_{2}) & = E (z - A x_{2} | x_{2}) \\ = E (z | x_{2}) - E (A x_{2} | x_{2}) \\ = E (z) - A x_{2} \\ = μ_{1} + A (μ_{2} - x_{2}) \\ = μ_{1} + Σ_{12} Σ_{22}^{- 1} (x_{2} - μ_{2}) \end{aligned}

$\begin{align*} E({\bf x}_1 | {\bf x}_2) &= E( {\bf z} - {\bf A} {\bf x}_2 | {\bf x}_2) \\ & = E({\bf z}|{\bf x}_2) - E({\bf A}{\bf x}_2|{\bf x}_2) \\ & = E({\bf z}) - {\bf A}{\bf x}_2 \\ & = {\boldsymbol \mu}_1 + {\bf A} ({\boldsymbol \mu}_2 - {\bf x}_2) \\ & = {\boldsymbol \mu}_1 + \Sigma_{12} \Sigma^{-1}_{22} ({\bf x}_2- {\boldsymbol \mu}_2) \end{align*}$

这证明了第一部分。对于协方差矩阵，请注意

\begin{aligned} v a r (x_{1} | x_{2}) & = v a r (z - A x_{2} | x_{2}) \\ = v a r (z | x_{2}) + v a r (A x_{2} | x_{2}) - A c o v (z, - x_{2}) - c o v (z, - x_{2}) A^{'} \\ = v a r (z | x_{2}) \\ = v a r (z) \end{aligned}

$\begin{align*} {\rm var}({\bf x}_1|{\bf x}_2) &= {\rm var}({\bf z} - {\bf A} {\bf x}_2 | {\bf x}_2) \\ &= {\rm var}({\bf z}|{\bf x}_2) + {\rm var}({\bf A} {\bf x}_2 | {\bf x}_2) - {\bf A}{\rm cov}({\bf z}, -{\bf x}_2) - {\rm cov}({\bf z}, -{\bf x}_2) {\bf A}' \\ &= {\rm var}({\bf z}|{\bf x}_2) \\ &= {\rm var}({\bf z}) \end{align*}$

现在我们差不多完成了：

\begin{aligned} v a r (x_{1} | x_{2}) = v a r (z) & = v a r (x_{1} + A x_{2}) \\ = v a r (x_{1}) + A v a r (x_{2}) A^{'} + A c o v (x_{1}, x_{2}) + c o v (x_{2}, x_{1}) A^{'} \\ = Σ_{11} + Σ_{12} Σ_{22}^{- 1} Σ_{22} Σ_{22}^{- 1} Σ_{21} - 2 Σ_{12} Σ_{22}^{- 1} Σ_{21} \\ = Σ_{11} + Σ_{12} Σ_{22}^{- 1} Σ_{21} - 2 Σ_{12} Σ_{22}^{- 1} Σ_{21} \\ = Σ_{11} - Σ_{12} Σ_{22}^{- 1} Σ_{21} \end{aligned}

$\begin{align*} {\rm var}({\bf x}_1|{\bf x}_2) = {\rm var}( {\bf z} ) &= {\rm var}( {\bf x}_1 + {\bf A} {\bf x}_2 ) \\ &= {\rm var}( {\bf x}_1 ) + {\bf A} {\rm var}( {\bf x}_2 ) {\bf A}' + {\bf A} {\rm cov}({\bf x}_1,{\bf x}_2) + {\rm cov}({\bf x}_2,{\bf x}_1) {\bf A}' \\ &= \Sigma_{11} +\Sigma_{12} \Sigma^{-1}_{22} \Sigma_{22}\Sigma^{-1}_{22}\Sigma_{21} - 2 \Sigma_{12} \Sigma_{22}^{-1} \Sigma_{21} \\ &= \Sigma_{11} +\Sigma_{12} \Sigma^{-1}_{22}\Sigma_{21} - 2 \Sigma_{12} \Sigma_{22}^{-1} \Sigma_{21} \\ &= \Sigma_{11} -\Sigma_{12} \Sigma^{-1}_{22}\Sigma_{21} \end{align*}$

这证明了第二部分。

注意：对于不熟悉此处使用的矩阵代数的人，这是一个很好的资源。

编辑：此处使用的一个属性不在矩阵食谱中（好的捕获@FlyingPig）是维基百科页面上有关协方差矩阵的属性6：对于两个随机向量，对于标量，当然，但对于向量，它们在矩阵排列不同的方面有所不同。 $\bf x, y$

v a r (x + y) = v a r (x) + v a r (y) + c o v (x, y) + c o v (y, x)

${\rm var}({\bf x}+{\bf y}) = {\rm var}({\bf x})+{\rm var}({\bf y}) + {\rm cov}({\bf x},{\bf y}) + {\rm cov}({\bf y},{\bf x})$

c o v (X, Y) = c o v (Y, X)

${\rm cov}(X,Y)={\rm cov}(Y,X)$

— 巨集
source

感谢您的出色方法！我似乎不熟悉一个矩阵代数，在哪里可以找到打开的公式？我在您发送的链接中找不到它。

v a r (x_{1} + A x_{2})

$var(x_1+Ax_2)$

— 飞猪

@Flyingpig，不客气。我相信这是方程，再加上矩阵食谱中未写的随机向量之和的方差的附加属性-我在答案中添加了这个事实-感谢您的关注那！

(291), (292)

$(291),(292)$

— 2012年

这是一个很好的答案（+1），但可以根据方法的顺序进行改进。我们首先说我们想要整个向量的线性组合与独立/不相关。这是因为我们可以使用的事实，这意味着和。这些反过来导致和。这意味着我们应该采取。现在我们需要。如果是可逆的，则我们有

z = C x = C_{1} x_{1} + C_{2} x_{2}

$z=Cx=C_1x_1+C_2x_2$

x_{2}

$x_2$

p (z | x_{2}) = p (z)

$p(z|x_2)=p(z)$

v a r (z | x_{2}) = v a r (z)

$var(z|x_2)=var(z)$

E (z | x_{2}) = E (z)

$E(z|x_2)=E(z)$

v a r (C_{1} x_{1} | x_{2})

$var(C_1x_1|x_2)$

E (C_{1} x_{1} | x_{2})

$E(C_1x_1|x_2)$

C_{1} = I

$C_1=I$

c o v (z, x_{2}) = Σ_{12} + C_{2} Σ_{22} = 0

$cov(z,x_2)=\Sigma_{12}+C_2\Sigma_{22}=0$

Σ_{22}

$\Sigma_{22}$

C_{2} = - Σ_{12} Σ_{22}^{- 1}

$C_2=-\Sigma_{12}\Sigma_{22}^{-1}$ 。

— probabilityislogic

@jakeoung -这是不是证明是，它是将它设置为这个值，所以我们得到一个包含我们想知道的变量表达式。

C_{1} = I

$C_1=I$

— 概率

@jakeoung我也不太明白那句话。我以这种方式理解：如果，则。因此的值在某种程度上是任意标度。因此，为简单起见，我们将设置为。

c o v (z, x_{2}) = 0

$cov(z, x_2)=0$

c o v (C_{1}^{- 1} z, x_{2}) = C_{1}^{- 1} c o v (z, x_{2}) = 0

$cov(C_1^{-1} z, x_2) = C_1^{-1} cov( z, x_2)=0$

C_{1}

$C_1$

C_{1} = I

$C_1=I$

— 肯T

Macro的答案很好，但是这是一种甚至更简单的方法，不需要您使用任何外部定理来断言条件分布。它涉及以分隔条件语句的参数变量的形式编写Mahanalobis距离，然后相应地分解法线密度。

重写条件向量的Mahanalobis距离：此推导使用矩阵求逆公式，该公式使用Schur补码。我们首先使用逐块求逆公式将逆方差矩阵写为： $\boldsymbol{\Sigma}_\text{S} = \boldsymbol{\Sigma}_{11} - \boldsymbol{\Sigma}_{12} \boldsymbol{\Sigma}_{22}^{-1} \boldsymbol{\Sigma}_{21}$

\begin{aligned} Σ^{- 1} = {[\begin{matrix} Σ_{11} & Σ_{12} \\ Σ_{21} & Σ_{22} \end{matrix}]}^{- 1} = [\begin{matrix} Σ_{11}^{*} & Σ_{12}^{*} \\ Σ_{21}^{*} & Σ_{22}^{*} \end{matrix}], \end{aligned}

$\begin{equation} \begin{aligned} \boldsymbol{\Sigma}^{-1} = \begin{bmatrix} \boldsymbol{\Sigma}_{11} & \boldsymbol{\Sigma}_{12} \\ \boldsymbol{\Sigma}_{21} & \boldsymbol{\Sigma}_{22} \\ \end{bmatrix}^{-1} = \begin{bmatrix} \boldsymbol{\Sigma}_{11}^* & \boldsymbol{\Sigma}_{12}^* \\ \boldsymbol{\Sigma}_{21}^* & \boldsymbol{\Sigma}_{22}^* \\ \end{bmatrix}, \end{aligned} \end{equation}$

哪里：

\begin{aligned} \begin{matrix} Σ_{11}^{*} = Σ_{S}^{- 1} & Σ_{12}^{*} = - Σ_{S}^{- 1} Σ_{12} Σ_{22}^{- 1}, \\ Σ_{21}^{*} = - Σ_{22}^{- 1} Σ_{12} Σ_{S}^{- 1} & Σ_{22}^{*} = Σ_{22}^{- 1} Σ_{12} Σ_{S}^{- 1} Σ_{12} Σ_{22}^{- 1} . \end{matrix} \end{aligned}

$\begin{equation} \begin{aligned} \begin{matrix} \boldsymbol{\Sigma}_{11}^* = \boldsymbol{\Sigma}_\text{S}^{-1} \text{ } \quad \quad \quad \quad & & & & & \boldsymbol{\Sigma}_{12}^* = -\boldsymbol{\Sigma}_\text{S}^{-1} \boldsymbol{\Sigma}_{12} \boldsymbol{\Sigma}_{22}^{-1}, \quad \quad \quad \\[6pt] \boldsymbol{\Sigma}_{21}^* = - \boldsymbol{\Sigma}_{22}^{-1} \boldsymbol{\Sigma}_{12} \boldsymbol{\Sigma}_\text{S}^{-1} & & & & & \boldsymbol{\Sigma}_{22}^* = \boldsymbol{\Sigma}_{22}^{-1} \boldsymbol{\Sigma}_{12} \boldsymbol{\Sigma}_\text{S}^{-1} \boldsymbol{\Sigma}_{12} \boldsymbol{\Sigma}_{22}^{-1}. \text{ } \\[6pt] \end{matrix} \end{aligned} \end{equation}$

使用这个公式，我们现在可以将马哈纳洛比斯距离写成：

\begin{aligned} (y - μ)^{T} Σ^{- 1} (y - μ) & = {[\begin{matrix} y_{1} - μ_{1} \\ y_{2} - μ_{2} \end{matrix}]}^{T} [\begin{matrix} Σ_{11}^{*} & Σ_{12}^{*} \\ Σ_{21}^{*} & Σ_{22}^{*} \end{matrix}] [\begin{matrix} y_{1} - μ_{1} \\ y_{2} - μ_{2} \end{matrix}] \\ = (y_{1} - μ_{1})^{T} Σ_{11}^{*} (y_{1} - μ_{1}) + (y_{1} - μ_{1})^{T} Σ_{12}^{*} (y_{2} - μ_{2}) \\ + (y_{2} - μ_{2})^{T} Σ_{21}^{*} (y_{1} - μ_{1}) + (y_{2} - μ_{2})^{T} Σ_{22}^{*} (y_{2} - μ_{2}) \\ = (y_{1} - (μ_{1} + Σ_{12} Σ_{22}^{- 1} (y_{2} - μ_{2})))^{T} Σ_{S}^{- 1} (y_{1} - (μ_{1} + Σ_{12} Σ_{22}^{- 1} (y_{2} - μ_{2}))) \\ = (y_{1} - μ_{*})^{T} Σ_{*}^{- 1} (y_{1} - μ_{*}), \end{aligned}

$\begin{equation} \begin{aligned} (\boldsymbol{y} - \boldsymbol{\mu})^\text{T} \boldsymbol{\Sigma}^{-1} (\boldsymbol{y} - \boldsymbol{\mu}) &= \begin{bmatrix} \boldsymbol{y}_1 - \boldsymbol{\mu}_1 \\ \boldsymbol{y}_2 - \boldsymbol{\mu}_2 \end{bmatrix}^\text{T} \begin{bmatrix} \boldsymbol{\Sigma}_{11}^* & \boldsymbol{\Sigma}_{12}^* \\ \boldsymbol{\Sigma}_{21}^* & \boldsymbol{\Sigma}_{22}^* \\ \end{bmatrix} \begin{bmatrix} \boldsymbol{y}_1 - \boldsymbol{\mu}_1 \\ \boldsymbol{y}_2 - \boldsymbol{\mu}_2 \end{bmatrix} \\[6pt] &= \quad (\boldsymbol{y}_1 - \boldsymbol{\mu}_1)^\text{T} \boldsymbol{\Sigma}_{11}^* (\boldsymbol{y}_1 - \boldsymbol{\mu}_1) + (\boldsymbol{y}_1 - \boldsymbol{\mu}_1)^\text{T} \boldsymbol{\Sigma}_{12}^* (\boldsymbol{y}_2 - \boldsymbol{\mu}_2) \\[6pt] &\quad + (\boldsymbol{y}_2 - \boldsymbol{\mu}_2)^\text{T} \boldsymbol{\Sigma}_{21}^* (\boldsymbol{y}_1 - \boldsymbol{\mu}_1) + (\boldsymbol{y}_2 - \boldsymbol{\mu}_2)^\text{T} \boldsymbol{\Sigma}_{22}^* (\boldsymbol{y}_2 - \boldsymbol{\mu}_2) \\[6pt] &= (\boldsymbol{y}_1 - (\boldsymbol{\mu}_1 + \boldsymbol{\Sigma}_{12} \boldsymbol{\Sigma}_{22}^{-1} (\boldsymbol{y}_2 - \boldsymbol{\mu}_2)))^\text{T} \boldsymbol{\Sigma}_\text{S}^{-1} (\boldsymbol{y}_1 - (\boldsymbol{\mu}_1 + \boldsymbol{\Sigma}_{12} \boldsymbol{\Sigma}_{22}^{-1} (\boldsymbol{y}_2 - \boldsymbol{\mu}_2))) \\[6pt] &= (\boldsymbol{y}_1 - \boldsymbol{\mu}_*)^\text{T} \boldsymbol{\Sigma}_*^{-1} (\boldsymbol{y}_1 - \boldsymbol{\mu}_*), \\[6pt] \end{aligned} \end{equation}$

哪里：

\begin{aligned} μ_{*} & \equiv μ_{1} + Σ_{12} Σ_{22}^{- 1} (y_{2} - μ_{2}), \\ Σ_{*} & \equiv Σ_{11} - Σ_{12} Σ_{22}^{- 1} Σ_{21} . \end{aligned}

$\begin{equation} \begin{aligned} \boldsymbol{\mu}_* &\equiv \boldsymbol{\mu}_1 + \boldsymbol{\Sigma}_{12} \boldsymbol{\Sigma}_{22}^{-1} (\boldsymbol{y}_2 - \boldsymbol{\mu}_2), \\[8pt] \boldsymbol{\Sigma}_* &\equiv \boldsymbol{\Sigma}_{11} - \boldsymbol{\Sigma}_{12} \boldsymbol{\Sigma}_{22}^{-1} \boldsymbol{\Sigma}_{21}. \\[6pt] \end{aligned} \end{equation}$

注意，该结果是不假定随机向量的正态性的一般结果。它提供了一种重新构造Mahanalobis距离的有用方法，使其相对于分解中的仅一个矢量（另一种被吸收到平均矢量和方差矩阵中）为二次形式。

推导条件分布：现在，我们有了上面的Mahanalobis距离形式，剩下的就很容易了。我们有：

\begin{aligned} p (y_{1} | y_{2}, μ, Σ) & \overset{y_{1}}{\propto} p (y_{1}, y_{2} | μ, Σ) \\ = N (y | μ, Σ) \\ \overset{y_{1}}{\propto} \exp (- \frac{1}{2} (y - μ)^{T} Σ^{- 1} (y - μ)) \\ = \exp (- \frac{1}{2} (y_{1} - μ_{*})^{T} Σ_{*}^{- 1} (y_{1} - μ_{*})) \\ \overset{y_{1}}{\propto} N (y_{1} | μ_{*}, Σ_{*}) . \end{aligned}

$\begin{equation} \begin{aligned} p(\boldsymbol{y}_1 | \boldsymbol{y}_2, \boldsymbol{\mu}, \boldsymbol{\Sigma}) &\overset{\boldsymbol{y}_1}{\propto} p(\boldsymbol{y}_1 , \boldsymbol{y}_2 | \boldsymbol{\mu}, \boldsymbol{\Sigma}) \\[12pt] &= \text{N}(\boldsymbol{y} | \boldsymbol{\mu}, \boldsymbol{\Sigma}) \\[10pt] &\overset{\boldsymbol{y}_1}{\propto} \exp \Big( - \frac{1}{2} (\boldsymbol{y} - \boldsymbol{\mu})^\text{T} \boldsymbol{\Sigma}^{-1} (\boldsymbol{y} - \boldsymbol{\mu}) \Big) \\[6pt] &= \exp \Big( - \frac{1}{2} (\boldsymbol{y}_1 - \boldsymbol{\mu}_*)^\text{T} \boldsymbol{\Sigma}_*^{-1} (\boldsymbol{y}_1 - \boldsymbol{\mu}_*) \Big) \\[6pt] &\overset{\boldsymbol{y}_1}{\propto}\text{N}(\boldsymbol{y}_1 | \boldsymbol{\mu}_*, \boldsymbol{\Sigma}_*). \\[6pt] \end{aligned} \end{equation}$

这可以确定条件分布也具有指定的条件均值向量和条件方差矩阵的多元正态分布。

— 本
source