找出最小协方差矩阵的适当方法

在我读的教科书中，他们使用正定性（半正定性）来比较两个协方差矩阵。这个想法是，如果是Pd然后小于。但是我很难理解这种关系吗？ $A-B$ $B$ $A$

这里有一个类似的线程：

/math/239166/what-is-the-intuition-for-using-definiteness-to-compare-matrices

使用确定性比较矩阵的直觉是什么？

尽管答案很好，但它们并不能真正解决直觉。

这是一个令人困惑的示例：

[\begin{matrix} 16 & 12 \\ 12 & 9 \end{matrix}] - [\begin{matrix} 1 & 2 \\ 2 & 4 \end{matrix}]

$\begin{equation} \begin{bmatrix} 16 & 12 \\ 12 & 9 \end{bmatrix} - \begin{bmatrix} 1 & 2 \\ 2 & 4 \end{bmatrix} \end{equation}$

现在这里的差异的决定因素是-25，因此该关系不是pd甚至psd，因此第一个矩阵不大于第一个矩阵？

我只想比较两个3 * 3协方差矩阵，看看哪个最小？在我看来，使用欧几里得范数之类的东西进行比较会更直观吗？但是，这将意味着上面的第一个矩阵大于第二个矩阵。而且，我只见过用于比较协方差矩阵的pd / psd准则。

有人可以解释为什么pd / psd比使用其他方法（例如欧几里得范数）更好吗？

我也已经在数学论坛上发布了这个问题（不确定什么是最好的），希望这不违反任何规则。

/math/628135/comparing-two-covariance-matrices

— 巴兹
source

你可能会想读这个地方的直觉背后正（半）定性考虑。当你比较2个方差a和b，如果a-b为正，那么我们可以说，在去除变异b出来的a仍然有些“真正”的变异留下a。同样，多元方差（=协方差矩阵）A和的情况也是如此B。如果A-B为正定，则表示A-B向量的配置在欧几里德空间中是“真实的”：换句话说，B从中移除时A，后者仍然是可行的可变性。

— ttnphns 2014年

什么是你的两个协方差矩阵的“最小”是什么意思？

— ub

您好，协方差矩阵与竞争性估计量有关，我希望选择方差最小的估计量。（这澄清了吗？）

— Baz 2014年

巴兹：那为什么不直接比较估计量的方差呢？

— Glen_b-恢复莫妮卡2014年

在那里设置了方法，给出了他们称为方差（包括协方差）的表达式。但是，即使我仅比较方差，这仍将涉及比较向量值，这将具有与比较矩阵值类似的问题？

— 巴兹（Baz）2014年

Answers:

您引用的矩阵的顺序被称为Loewner顺序，是在正定矩阵研究中经常使用的偏序。在这里对正定（posdef）矩阵的流形上的几何进行书本化处理。

我将首先尝试解决您关于直觉的问题。A（对称）矩阵 $A$ 是posdef如果 $c^T A c\ge 0$ 对所有 $c \in \mathbb{R}^n$ 。如果 $X$ 是具有协方差矩阵 $A$ 的随机变量（rv），则 $c^T X$ 是其在某个一维子空间上的投影（与之成比例），并且 $\mathbb{Var}(c^T X) = c^T A c$ 。应用于 $A-B$ 在您的Q中，第一个：它是协方差矩阵，第二个：具有covar矩阵 $B$ 随机变量在方向上投射的方差小于具有covariance矩阵 $A$ 的rv的方差。从直观上可以清楚地看出，这种排序只能是部分排序，有许多rv会以不同的方差在不同方向上投影。您对某些欧几里得范数的建议没有这种自然的统计解释。

您的“令人困惑的示例”令人困惑，因为两个矩阵的行列式均为零。因此，对于每个方向，都有一个方向（特征值零的特征向量）总是投影到零。但是，这两个矩阵的方向不同，因此无法进行比较。

所述Loewner方程组顺序被定义为使得 $A \preceq B$ ， $B$ 不止正定 $A$ ，如果 $B-A$ 是posdef。这是一个偏序，对某些posdef矩阵既不 $B-A$ 也不 $A-B$ 是posdef。一个示例是：

一个 = （ \begin{matrix} 1个 & 0.5 \\ 0.5 & 1个 \end{matrix} ） ， 乙 = （ \begin{matrix} 0.5 & 0 \\ 0 & 1.5 \end{matrix} ）

$A=\begin{pmatrix} 1 & 0.5 \\ 0.5 & 1 \end{pmatrix}, \quad B= \begin{pmatrix} 0.5 & 0\\ 0 & 1.5 \end{pmatrix}$ 以图形方式显示此结果的一种方式是绘制一个具有两个椭圆的图，但以原点为中心，以与矩阵的标准方式关联（然后，每个方向上的径向距离都与矩阵的方差成比例。朝那个方向投影）：

在这种情况下，两个椭圆是一致的，但旋转方向不同（实际上，角度为45度）。这对应于以下事实：矩阵 $A$ 和 $B$ 具有相同的特征值，但是特征向量是旋转的。

由于这个答案在很大程度上取决于椭圆的性质，因此下面的条件高斯分布背后的直觉是什么？几何地解释椭圆可能会有所帮助。

现在，我将解释如何定义与矩阵相关的椭圆。posdef矩阵 $A$ 定义二次形式 $Q_A(c) = c^T A c$ 。可以将其绘制为函数，该图将是二次曲线。如果 $A \preceq B$ 然后的曲线 $Q_B$ 永远是图表上方 $Q_A$ 。如果我们用高度为1的水平面切割图形，则这些切割将描述椭圆（这实际上是定义椭圆的一种方式）。该切椭圆由等式

Q_{A} (c) = 1, Q_{B} (c) = 1

$Q_A(c)=1, \quad Q_B(c)=1$ ，我们看到，

A ⪯ B

$A \preceq B$ 对应于B的椭圆（现在内部）被包含A的椭圆内如果没有命令，就没有遏制。如果我们不喜欢绘制逆椭圆，我们会发现包含顺序与Loewner偏顺序相反。这是因为

A ⪯ B

$A \preceq B$ 相当于

B^{- 1} ⪯ A^{- 1}

$B^{-1} \preceq A^{-1}$ 。但是，我将保留此处定义的椭圆。

椭圆可以用半轴及其长度来描述。我们这里仅讨论 $2\times 2$ 矩阵，因为它们是我们可以绘制的矩阵。因此，我们需要两个主轴及其长度。这可以发现，作为解释在这里与posdef矩阵的特征值分解。然后主轴由特征向量给定，并且它们的长度 $a,b$ 可以被计算从本征值 $\lambda_1, \lambda_2$ 由

a = \sqrt{1 / λ_{1}}, b = \sqrt{1 / λ_{2}} .

$a = \sqrt{1/\lambda_1}, \quad b=\sqrt{1/\lambda_2}.$ 我们还可以看到，表示椭圆的面积

A

$A$ 是

π a b = π \sqrt{1 / λ_{1}} \sqrt{1 / λ_{2}} = \frac{π}{\sqrt{det A}}

$\pi a b= \pi \sqrt{1/\lambda_1}\sqrt{1/\lambda_2} = \frac{\pi}{\sqrt{\det A}}$ 。

我将给出一个可以订购矩阵的最后示例：

在这种情况下，两个矩阵为：

A = (\begin{matrix} 2 / 3 & 1 / 5 \\ 1 / 5 & 3 / 4 \end{matrix}), B = (\begin{matrix} 1 & 1 / 7 \\ 1 / 7 & 1 \end{matrix})

$A =\begin{pmatrix}2/3 & 1/5 \\ 1/5 & 3/4\end{pmatrix}, \quad B=\begin{pmatrix} 1& 1/7 \\ 1/7& 1 \end{pmatrix}$

— 凯捷蒂尔·哈沃森
source

@kjetil b halvorsen很好地讨论了正半定性背后的几何直觉（作为偏序）。在相同的直觉上，我将采取更为肮脏的态度。其中一种是您可能想对方差矩阵进行的哪种计算得出的。

假设您有两个随机变量 $x$ 和 $y$ 。如果它们是标量，则我们可以将它们的方差计算为标量，并使用标量实数 $V(x)$ 和 $V(y)$ 以明显的方式比较它们。因此，如果 $V(x)=5$ 且 $V(y)=15$ ，我们说随机变量 $x$ 的方差比 $y$ 。

另一方面，如果 $x$ 和 $y$ 是向量值的随机变量（假设它们是两个向量），那么我们如何比较它们的方差并不是那么明显。说他们的方差为：

\begin{aligned} V (x) = [\begin{array}{cc} 1 & 0.5 \\ 0.5 & 1 \end{array}] V (y) = [\begin{array}{cc} 8 & 3 \\ 3 & 6 \end{array}] \end{aligned}

$\begin{align} V(x) = \left[ \begin{array}{c c} 1 & 0.5 \\ 0.5 & 1 \end{array} \right] \qquad V(y) = \left[ \begin{array}{c c} 8 & 3 \\ 3 & 6 \end{array} \right] \end{align}$ 我们如何比较这两个随机向量的方差？我们可以做的一件事就是比较它们各自元素的方差。因此，仅通过比较实数，我们可以说

x_{1}

$x_1$ 的方差小于

y_{1}

$y_1$ 的方差，例如：

V (x_{1}) = 1 < 8 = V (y_{1})

$V(x_1)=1<8=V(y_1)$ 和

V (x_{2}) = 1 < 6 = V (y_{2})

$V(x_2)=1<6=V(y_2)$ 。所以，也许我们可以说的方差

x

$x$ 是

\leq

$\le$ 的方差

y

$y$ 如果每个元素的方差

x

$x$ 是

\leq

$\le$ 的相应元素的变化

y

$y$ 。这就像说

V (x) \leq V (y)

$V(x) \le V(y)$ 如果每个的对角元素的

V (x)

$V(x)$ 是

\leq

$\le$ 的相应的对角元素

V (y)

$V(y)$ 。

乍一看，这个定义似乎是合理的。此外，只要我们考虑的方差矩阵是对角线（即所有协方差均为0），就与使用半定性相同。也就是说，如果方差看起来像

\begin{aligned} V (x) = [\begin{array}{cc} V (x_{1}) & 0 \\ 0 & V (x_{2}) \end{array}] V (y) = [\begin{array}{cc} V (y_{1}) & 0 \\ 0 & V (y_{2}) \end{array}] \end{aligned}

$\begin{align} V(x) = \left[ \begin{array}{c c} V(x_1) & 0 \\ 0 & V(x_2) \end{array} \right] \qquad V(y) = \left[ \begin{array}{c c} V(y_1) & 0 \\ 0 & V(y_2) \end{array} \right] \end{align}$ 然后称

V (y) - V (x)

$V(y)-V(x)$ 是正半定（即

V (x) \leq V (y)

$V(x) \le V(y)$ ）是只是等于说

V (x_{1}) \leq V (y_{1})

$V(x_1) \le V(y_1)$ 和

V (x_{2}) \leq V (y_{2})

$V(x_2) \le V(y_2)$ 。在引入协方差之前，一切似乎都很好。考虑以下示例：

\begin{aligned} V (x) = [\begin{array}{cc} 1 & 0.1 \\ 0.1 & 1 \end{array}] V (y) = [\begin{array}{cc} 1 & 0 \\ 0 & 1 \end{array}] \end{aligned}

$\begin{align} V(x) = \left[ \begin{array}{c c} 1 & 0.1 \\ 0.1 & 1 \end{array} \right] \qquad V(y) = \left[ \begin{array}{c c} 1 & 0 \\ 0 & 1 \end{array} \right] \end{align}$ 现在，使用比较只考虑对角线，我们可以说

V (x) \leq V (y)

$V(x) \le V(y)$ ，并且，事实上，它仍然是真实的元件逐元素

V (x_{k}) \leq V (y_{k})

$V(x_k) \le V(y_k)$ 。可能开始困扰我们的是，如果我们计算向量元素的某些加权和，例如

3 x_{1} + 2 x_{2}

$3x_1 + 2x_2$ 和

3 y_{1} + 2 y_{2}

$3y_1 + 2y_2$ ，那么我们碰上一个事实，即

V (3 x_{1} + 2 x_{2}) > V (3 y_{1} + 2 y_{2})

$V(3x_1 + 2x_2) \gt V(3y_1 + 2y_2)$ 即使我们说

V (x) \leq V (y)

$V(x) \le V(y)$ 。

这很奇怪吧？当 $x$ 和 $y$ 是标量，则 $V(x) \le V(y)$ 保证，对于任何固定的，非随机 $a$ ， $V(ax) \le V(ay)$ 。

如果出于某种原因，我们对像这样的随机变量元素的线性组合感兴趣，那么我们可能想加强 $\le$ 差矩阵的定义。也许我们想说 $V(x) \le V(y)$ 当且仅当它是真的， $V(a_1x_1 + a_2x_2) \le V(a_1y_1 + a_2y_2)$ ，不管什么固定号码 $a_1$ 和 $a_2$ 我们选择。通知，这比仅对角线清晰度更强的定义，因为如果我们选择 $a_1=1,a_2=0$ ，它说 $V(x_1) \le V(y_1)$ ，并且如果我们选择 $a_1=0,a_2=1$ 它表示 $V(x_2) \le V(y_2)$ 。

$V(x) \le V(y)$ $V(a'x) \le V(a'y)$ $a$

\begin{aligned} V (a^{'} y) - V (a^{'} x) = a^{'} V (x) a - a^{'} V (y) a = a^{'} (V (x) - V (y)) a \end{aligned}

$\begin{align} V(a'y) - V(a'x) = a'V(x)a - a'V(y)a = a'\left(V(x) - V(y) \right)a \end{align}$

\leq

$\le$

V (x) \leq V (y)

$V(x) \le V(y)$

V (a^{'} x) \leq V (a^{'} y)

$V(a'x) \le V(a'y)$

a

$a$

(V (y) - V (x))

$\left( V(y)-V(x) \right)$

$V$ $W$ $W-V$

— 法案
source