为什么协方差矩阵的求逆会在随机变量之间产生偏相关？

我听说可以通过反转协方差矩阵并从所得的精度矩阵中提取适当的单元来找到随机变量之间的局部相关性（此事实在http://en.wikipedia.org/wiki/Partial_correlation中已提及，但没有证明）。

为什么会这样呢？

— 米哈尔
source

如果您打算在受控于所有其他变量的单元格中获得部分相关性，则此处的最后一段可能会有所启发。

— ttnphns

Answers:

当多元随机变量具有非简并协方差矩阵，所有实线性组合形成一个维实向量空间为和一个非简并的内积 $(X_1,X_2,\ldots,X_n)$ $\mathbb{C} = (\gamma_{ij}) = (\text{Cov}(X_i,X_j))$ $X_i$ $n$ $E=(X_1,X_2,\ldots, X_n)$

⟨ X_{i}, X_{j} ⟩ = γ_{i j} .

$\langle X_i,X_j \rangle = \gamma_{ij}\ .$

其对偶基相对于该内积，，唯一地由关系定义 $E^{*} = (X_1^{*},X_2^{*}, \ldots, X_n^{*})$

⟨ X_{i}^{*}, X_{j} ⟩ = δ_{i j},

$\langle X_i^{*}, X_j \rangle = \delta_{ij}\ ,$

Kronecker符号（等于时和否则）。 $1$ $i=j$ $0$

这里有个对偶基础，因为和的部分相关性是通过将投影到所有其他向量所跨越的空间后剩下的部分之间的相关性而获得的（简称为“残差”，）和的可比较部分，即其剩余。然而是一个矢量正交于除了所有向量和具有正内积与何处必须的一些非负多个，并且同样地对于 $X_i$ $X_j$ $X_i$ $X_{i\circ}$ $X_j$ $X_{j\circ}$ $X_i^{*}$ $X_i$ $X_i$ $X_{i\circ}$ $X_i^{*}$ $X_j$ 。因此，让我们写

X_{一世 \circ} = λ_{一世} X_{一世}^{*} ， X_{Ĵ \circ} = λ_{Ĵ} X_{Ĵ}^{*}

$X_{i\circ} = \lambda_i X_i^{*},\ X_{j\circ} = \lambda_j X_j^{*}$

对于正实数和。 $\lambda_i$ $\lambda_j$

偏相关是残差的归一化点积，通过重新缩放该比例积不变：

ρ_{i j \circ} = \frac{⟨ X_{i \circ}, X_{j \circ} ⟩}{\sqrt{⟨ X_{i \circ}, X_{i \circ} ⟩ ⟨ X_{j \circ}, X_{j \circ} ⟩}} = \frac{λ_{i} λ_{j} ⟨ X_{i}^{*}, X_{j}^{*} ⟩}{\sqrt{λ_{i}^{2} ⟨ X_{i}^{*}, X_{i}^{*} ⟩ λ_{j}^{2} ⟨ X_{j}^{*}, X_{j}^{*} ⟩}} = \frac{⟨ X_{i}^{*}, X_{j}^{*} ⟩}{\sqrt{⟨ X_{i}^{*}, X_{i}^{*} ⟩ ⟨ X_{j}^{*}, X_{j}^{*} ⟩}} .

$\rho_{ij\circ} = \frac{\langle X_{i\circ}, X_{j\circ} \rangle}{\sqrt{\langle X_{i\circ}, X_{i\circ} \rangle\langle X_{j\circ}, X_{j\circ} \rangle}} = \frac{\lambda_i\lambda_j\langle X_{i}^{*}, X_{j}^{*} \rangle}{\sqrt{\lambda_i^2\langle X_{i}^{*}, X_{i}^{*} \rangle\lambda_j^2\langle X_{j}^{*}, X_{j}^{*} \rangle}} = \frac{\langle X_{i}^{*}, X_{j}^{*} \rangle}{\sqrt{\langle X_{i}^{*}, X_{i}^{*} \rangle\langle X_{j}^{*}, X_{j}^{*} \rangle}}\ .$

（无论哪种情况，只要残差正交，偏相关将为零，无论它们是否非零。）

我们需要找到双重基础元素的内积。 为此，请扩展原始基础对偶基础元素： $E$

X_{i}^{*} = \sum_{Ĵ = 1个}^{ñ} β_{一世 Ĵ} X_{Ĵ} 。

$X_i^{*} = \sum_{j=1}^n \beta_{ij} X_j\ .$

然后根据定义

δ_{一世 ķ} = ⟨ X_{一世}^{*} ， X_{ķ} ⟩ = \sum_{Ĵ = 1个}^{ñ} β_{一世 Ĵ} ⟨ X_{Ĵ} ， X_{ķ} ⟩ = \sum_{Ĵ = 1个}^{ñ} β_{一世 Ĵ} γ_{Ĵ ķ} 。

$\delta_{ik} = \langle X_i^{*}, X_k \rangle = \sum_{j=1}^n \beta_{ij}\langle X_j, X_k \rangle = \sum_{j=1}^n \beta_{ij}\gamma_{jk}\ .$

在的矩阵表示法中，单位矩阵和的基础变化矩阵表示如下： $\mathbb{I} = (\delta_{ij})$ $\mathbb{B} = (\beta_{ij})$

一世 = 乙 C 。

$\mathbb{I} = \mathbb{BC}\ .$

也就是说，，这正是Wikipedia文章所宣称的。先前的偏相关公式给出 $\mathbb{B} = \mathbb{C}^{-1}$

ρ_{一世 Ĵ \cdot} = \frac{β_{一世 Ĵ}}{\sqrt{β_{一世 一世} β_{Ĵ Ĵ}}} = \frac{C_{一世 Ĵ}^{- 1个}}{\sqrt{C_{一世 一世}^{- 1个} C_{Ĵ Ĵ}^{- 1个}}} 。

$\rho_{ij\cdot} = \frac{\beta_{ij}}{\sqrt{\beta_{ii} \beta_{jj}}} = \frac{\mathbb{C}^{-1}_{ij}}{\sqrt{\mathbb{C}^{-1}_{ii} \mathbb{C}^{-1}_{jj}}}\ .$

— ub
source

+1，好答案。但是，为什么将这种双重基础称为“关于内部产品的双重基础”？“关于内部产品”的确切含义是什么？看来你使用的术语“双基”此处定义mathworld.wolfram.com/DualVectorSpace.html在第二段（“给定一个向量空间基础为存在双重基础.. ”）或此处的en.wikipedia.org/wiki/Dual_basis，它独立于任何标量产品。

v_{1}, . . ., v_{n}

$v_1, ..., v_n$

V

$V$

— 变形虫说恢复莫妮卡

@amoeba有两种对偶。字段上任何向量空间的（自然）对偶是一组线性函数，称为。没有识别规范方法

V

$V$

R

$R$

ϕ : V \to R

$\phi:V\to R$

V^{*}

$V^*$

V^{*}

$V^*$ 即使

是有限维的，即使它们具有相同的维数，也用

。任何内积

对应于这样的映射

，反之亦然，通过

V

$V$

V

$V$

γ

$\gamma$

g : V \to V^{*}

$g:V\to V^*$

（非简并性确保是向量空间同构。）这提供了一种方法来查看元素，就好像它们是对偶元素一样，但这取决于。

g (v) (w) = γ (v, w) .

$g(v)(w)=\gamma(v,w).$

γ

$\gamma$

g

$g$

V

$V$

V^{*}

$V^*$

γ

$\gamma$

— ub

@mpettis这些点很难注意到。我已将其替换为小的空心圆圈，以使该符号更易于阅读。感谢您指出了这一点。

— ub

@Andy Ron Christensen 对复杂问题的平面答案可能是您正在寻找的东西。不幸的是，他的方法（IMHO）过分依赖坐标参数和计算。在最初的介绍中（请参阅第xiii页），Christensen解释这是出于教学原因。

— ub

@whuber，您的证明很棒。我想知道是否有任何书籍或文章包含这样的证明以便我引用。

— 哈里

这只是矩阵计算的证明。

我赞赏胡夫的回答。这对幕后的数学非常有见地。但是，如何使用他的答案在Wikipedia Partial_correlation＃Using_matrix_inversion中所述的公式中获得减号仍然不是一件容易的事。

ρ_{X_{一世} X_{Ĵ} \cdot V ∖ {X_{一世} ， X_{Ĵ}}} = - \frac{p_{一世 Ĵ}}{\sqrt{p_{一世 一世} p_{Ĵ Ĵ}}}

$\rho_{X_iX_j\cdot \mathbf{V} \setminus \{X_i,X_j\}} = - \frac{p_{ij}}{\sqrt{p_{ii}p_{jj}}}$

为了得到这个减号，这是我在“ Graphical Models Lauriten 1995 Page 130”中找到的另一种证明。只需通过一些矩阵计算即可完成。

关键是以下矩阵身份：其中，和

{（ \begin{matrix} 一种 & 乙 \\ C & d \end{matrix} ）}^{- 1个} = （ \begin{matrix} Ë^{- 1个} & - Ë^{- 1个} G \\ - F Ë^{- 1个} & d^{- 1个} + F Ë^{- 1个} G \end{matrix} ）

$\begin{pmatrix} A & B \\ C & D \end{pmatrix}^{-1} = \begin{pmatrix} E^{-1} & -E^{-1}G \\ -FE^{-1} & D^{-1}+FE^{-1}G \end{pmatrix}$

E = A - B D^{- 1} C

$E = A - BD^{-1}C$

F = D^{- 1} C

$F = D^{-1}C$

。

G = B D^{- 1}

$G = BD^{-1}$

记下的协方差矩阵为其中，是的协方差矩阵和是协方差矩阵。

Ω = （ \begin{matrix} Ω_{11} & Ω_{12} \\ Ω_{21} & Ω_{22} \end{matrix} ）

$\Omega = \begin{pmatrix} \Omega_{11} & \Omega_{12} \\ \Omega_{21} & \Omega_{22} \end{pmatrix}$

Ω_{11}

$\Omega_{11}$

(X_{i}, X_{j})

$(X_i, X_j)$

Ω_{22}

$\Omega_{22}$

V ∖ {X_{i}, X_{j}}

$\mathbf{V} \setminus \{X_i, X_j \}$

设。同样，将为 $P = \Omega^{-1}$ $P$

P = （ \begin{matrix} P_{11} & P_{12} \\ P_{21} & P_{22} \end{matrix} ）

$P = \begin{pmatrix} P_{11} & P_{12} \\ P_{21} & P_{22} \end{pmatrix}$

通过键矩阵身份，

P_{11}^{- 1个} = Ω_{11} - Ω_{12} Ω_{22}^{- 1个} Ω_{21}

$P_{11}^{-1} = \Omega_{11} - \Omega_{12}\Omega_{22}^{-1}\Omega_{21}$

我们也知道，是协方差矩阵（来自Multivariate_normal_distribution＃Conditional_distributions）。因此，该部分相关是 $\Omega_{11} - \Omega_{12}\Omega_{22}^{-1}\Omega_{21}$ $(X_i, X_j) | \mathbf{V} \setminus \{X_i, X_j\}$ 我用的符号，所述基质的个条目被表示为。

ρ_{X_{一世} X_{Ĵ} \cdot V ∖ {X_{一世} ， X_{Ĵ}}} = \frac{[P_{11}^{- 1个}]_{12}}{\sqrt{[P_{11}^{- 1个}]_{11} [P_{11}^{- 1个}]_{22}}} 。

$\rho_{X_iX_j\cdot \mathbf{V} \setminus \{X_i,X_j\}} = \frac{[P_{11}^{-1}]_{12}}{\sqrt{[P_{11}^{-1}]_{11}[P_{11}^{-1}]_{22}}}.$

(k, l)

$(k,l)$

M

$M$

[M]_{k l}

$[M]_{kl}$

（ \begin{matrix} [P_{11}^{- 1个}]_{11} & [P_{11}^{- 1个}]_{12} \\ [P_{11}^{- 1个}]_{21} & [P_{11}^{- 1个}]_{22} \end{matrix} ） = P_{11}^{- 1个} = \frac{1个}{t P_{11}} （ \begin{matrix} [P_{11}]_{22} & - [P_{11}]_{12} \\ - [P_{11}]_{21} & [P_{11}]_{11} \end{matrix} ）

$\begin{pmatrix} [P_{11}^{-1}]_{11} & [P_{11}^{-1}]_{12} \\ [P_{11}^{-1}]_{21} & [P_{11}^{-1}]_{22} \\ \end{pmatrix} = P_{11}^{-1} = \frac{1}{\text{det} P_{11}} \begin{pmatrix} [P_{11}]_{22} & -[P_{11}]_{12} \\ -[P_{11}]_{21} & [P_{11}]_{11} \\ \end{pmatrix}$

ρ_{X_{一世} X_{Ĵ} \cdot V ∖ {X_{一世} ， X_{Ĵ}}} = \frac{[P_{11}^{- 1个}]_{12}}{\sqrt{[P_{11}^{- 1个}]_{11} [P_{11}^{- 1个}]_{22}}} = \frac{- \frac{1个}{t P_{11}} [P_{11}]_{12}}{\sqrt{\frac{1个}{t P_{11}} [P_{11}]_{22} \frac{1个}{t P_{11}} [P_{11}]_{11}}} = \frac{- [P_{11}]_{12}}{\sqrt{[P_{11}]_{22} [P_{11}]_{11}}}

$\rho_{X_iX_j\cdot \mathbf{V} \setminus \{X_i,X_j\}} = \frac{[P_{11}^{-1}]_{12}}{\sqrt{[P_{11}^{-1}]_{11}[P_{11}^{-1}]_{22}}} = \frac{- \frac{1}{\text{det}P_{11}}[P_{11}]_{12}}{\sqrt{\frac{1}{\text{det}P_{11}}[P_{11}]_{22}\frac{1}{\text{det}P_{11}}[P_{11}]_{11}}} = \frac{-[P_{11}]_{12}}{\sqrt{[P_{11}]_{22}[P_{11}]_{11}}}$

— 宝C.
source

如果让i=j，那么rho_ii V\{X_i, X_i} = -1，我们如何解释精度矩阵中的那些对角线元素？

— 杰森

好点子。该公式仅对i = / = j有效。根据证明，负号来自2 x 2矩阵求逆。如果i = j，则不会发生。

— Po C.

因此，对角线数字不能与偏相关相关联。它们代表什么？它们不仅是方差的倒数，是吗？

— 杰森

该公式对i = / = j有效。对于i = j，这是没有意义的。

— PoC。18年

$X_i$ $X_j$ $n - 1$ $X_i$ $X_j$ $n - 2$ $\epsilon_i$ $\epsilon_j$ $\rho$ $\epsilon_i$ $\epsilon_j$ $-\rho$

这解释了上面的评论以及维基百科中的混乱。据我所知，第二个定义被普遍使用，因此应该有一个负号。

我最初对其他答案发表了修改，但犯了一个错误-对此表示抱歉！

— 何超仪
source