两个协方差矩阵的和和乘积也是协方差矩阵吗？

12

假设我有协方差矩阵和。那么，这些选项中的哪一个也是协方差矩阵？ $X$ $Y$

$X+Y$
$X^2$
$XY$

我很难理解要成为协方差矩阵的确切条件。我想这意味着，例如，如果和，则对于1成立，我们应该具有该，其中和是其他一些随机变量。但是，我不明白为什么这对于三个选项都适用。任何见解将不胜感激。 $X=\operatorname{cov}(X_1,X_2)$ $Y=\operatorname{cov}(Y_1,Y_2)$ $\operatorname{cov}(X_1,X_2) + \operatorname{cov}(Y_1,Y_2) = \operatorname{cov}(Z_1, Z_2)$ $Z_1$ $Z_2$

covariance covariance-matrix

— rbm
source

12

背景

用于随机变量的向量的协方差矩阵体现了一种计算这些随机变量的任何线性组合的方差的过程。规则是，对于任何系数向量， $\mathbb{A}$ $X=(X_1, X_2, \ldots, X_n)^\prime$ $\lambda = (\lambda_1, \ldots, \lambda_n)$

\begin{matrix} (1) & Var (λ X) = λ A λ^{'} . \end{matrix}

$\operatorname{Var}(\lambda X) = \lambda \mathbb{A} \lambda ^\prime.\tag{1}$

换句话说，矩阵乘法的规则描述了方差的规则。

两个属性是直接且显而易见的： $\mathbb{A}$

因为方差是平方值的期望，所以它们永远不能为负。因此，对于所有向量，协方差矩阵必须是非负定的。 $\lambda$
$0 \leq Var (λ X) = λ A λ^{'} .$ $0 \le \operatorname{Var}(\lambda X) = \lambda \mathbb{A} \lambda ^\prime.$
方差只是数字-或者，如果您从字面上看矩阵公式，则它们是矩阵。因此，它们在转置时不会改变。换位为由于这适用于所有，因此必须等于其转置：协方差矩阵必须是对称的。 $1\times 1$ $(1)$
$λ A λ^{'} = Var (λ X) = Var (λ X)^{'} = {(λ A λ^{'})}^{'} = λ A^{'} λ^{'} .$ $\lambda \mathbb{A} \lambda ^\prime = \operatorname{Var}(\lambda X) = \operatorname{Var}(\lambda X) ^\prime = \left(\lambda \mathbb{A} \lambda ^\prime\right)^\prime = \lambda \mathbb{A}^\prime \lambda ^\prime.$ $\lambda$ $\mathbb{A}$ $\mathbb{A}^\prime$

更深层的结果是，任何非负定对称矩阵是协方差矩阵。 $\mathbb{A}$ 这意味着实际上存在一些向量值随机变量其中为协方差。我们可以通过显式构造来证明这一点。一种方法是注意到（多元）密度函数具有属性具有的协方差。（当不可逆时，需要一些美味佳肴-但这只是技术细节。） $X$ $\mathbb{A}$ $X$ $f(x_1,\ldots, x_n)$

\log (f) \propto - \frac{1}{2} (x_{1}, \dots, x_{n}) A^{- 1} (x_{1}, \dots, x_{n})^{'}

$\log(f) \propto -\frac{1}{2} (x_1,\ldots,x_n)\mathbb{A}^{-1}(x_1,\ldots,x_n)^\prime$

A

$\mathbb{A}$

A

$\mathbb{A}$

解决方案

令和为协方差矩阵。显然它们是正方形的。如果它们的总和在任何意义上都必须具有相同的尺寸。我们只需要检查两个属性。 $\mathbb{X}$ $\mathbb{Y}$

总和。
- 对称显示总和是对称的。 $(X + Y)^{'} = X^{'} + Y^{'} = (X + Y)$ $(\mathbb{X}+\mathbb{Y})^\prime = \mathbb{X}^\prime + \mathbb{Y}^\prime = (\mathbb{X} + \mathbb{Y})$
- 非负确定性。 令为任何向量。然后使用矩阵乘法的基本属性证明了这一点。 $\lambda$ $λ (X + Y) λ^{'} = λ X λ^{'} + λ Y λ^{'} \geq 0 + 0 = 0$ $\lambda(\mathbb{X}+\mathbb{Y})\lambda^\prime = \lambda \mathbb{X}\lambda^\prime + \lambda \mathbb{Y}\lambda^\prime \ge 0 + 0 = 0$
我将其保留为练习。
这是一个棘手的问题。我用来思考具有挑战性的矩阵问题的一种方法是使用 ×矩阵进行一些计算。有一些常见的，熟悉的这种大小的协方差矩阵，例如，其和。令人担心的是可能不确定：也就是说，在计算方差时会产生负值吗？如果可以，那么我们最好在矩阵中有一些负系数。这表明，考虑为。为了得到一些有趣的东西，我们可能最初会被矩阵吸引 $2\times 2$
$(\begin{matrix} a & b \\ b & a \end{matrix})$ $\pmatrix{a & b \\ b & a}$ $a^2 \ge b^2$ $a \ge 0$ $\mathbb{XY}$ $X = (\begin{matrix} a & - 1 \\ - 1 & a \end{matrix})$ $\mathbb{X} = \pmatrix{a & -1 \\ -1 & a}$ $a \ge 1$ $\mathbb{Y}$ 具有不同的外观结构。想到对角矩阵，例如和。（请注意，我们可以自由选择一些系数，例如和，因为我们可以在不改变协方差矩阵基本属性的情况下重新缩放所有条目。这简化了对有趣示例的搜索。） $Y = (\begin{matrix} b & 0 \\ 0 & 1 \end{matrix})$ $\mathbb{Y} = \pmatrix{b & 0 \\ 0 & 1}$ $b\ge 0$ $-1$ $1$
我将它留给您来计算并测试它对于和任何允许值是否始终是协方差矩阵。 $\mathbb{XY}$ $a$ $b$

— ub
source

13

当且仅当实数矩阵是对称正半定数时，它才是协方差矩阵。

提示：

1）如果和是对称的，那么对称的吗？如果任何和任何，你能得出有关？ $X$ $Y$ $X+Y$ $z^TX z \ge 0$ $z$ $z^TY z \ge 0$ $z$ $z^T(X+Y)z$

2）如果是对称的，则对称的吗？如果的特征值是非负的，那么关于的特征值可以得出什么结论？ $X$ $X^2$ $X$ $X^2$

3）如果和是对称的，您可以得出是对称的结论，还是可以找到反例？ $X$ $Y$ $XY$

— 马克·L·斯通
source