为什么相关矩阵需要是正半定的，它是或不是正半定的意味着什么？

34

我一直在研究相关或协方差矩阵的正半定性的含义。

我正在寻找有关的任何信息

正半定性的定义；
其重要性质，实际意义；
负决定因素的结果，影响多元分析或模拟结果等。

— 瓜
source

5

您是否想了解半确定性是什么，还是想知道为什么相关矩阵必须是半确定性的？或者您想知道此属性所隐含的重要结果是什么？

— ub

4

如果相关矩阵不是半正定的，那么您可以得到负的方差。

我编辑了您的问题，请检查一下。另外，请注意，具有偶数个负特征值的矩阵仍将具有正决定因子。

— ttnphns

协方差矩阵并不总是等于相关矩阵！协方差考虑归一化变量，而相关矩阵不考虑。

— Manoj Kumar 2015年

1

相关问题：每个协方差矩阵都是正定的吗？考虑协方差矩阵的更广泛的情况，其中相关矩阵是特例；也是每个相关矩阵都是正半定的吗？并且每个相关矩阵都是正定的吗？

— 银鱼

38

对于所有实数选择，随机变量的加权和的方差必须为非负数。由于方差可以表示为我们的协方差矩阵必须为正半定（有时称为非负定）。回想一下，当且仅当，矩阵称为正半定数 $\sum_i a_i X_i$ $a_i$

var (\sum_{i} a_{i} X_{i}) = \sum_{i} \sum_{j} a_{i} a_{j} cov (X_{i}, X_{j}) = \sum_{i} \sum_{j} a_{i} a_{j} Σ_{i, j},

$\operatorname{var}\left(\sum_i a_i X_i\right) = \sum_i \sum_j a_ia_j \operatorname{cov}(X_i,X_j) = \sum_i \sum_j a_ia_j \Sigma_{i,j},$

Σ = [Σ_{i, j}]

$\Sigma = [\Sigma_{i,j}]$

C

$C$

\sum_{i} \sum_{j} a_{i} a_{j} C_{i, j} \geq 0 \forall a_{i}, a_{j} \in R 。

$\sum_i \sum_j a_ia_j C_{i,j} \geq 0 \;\; \forall a_i, a_j \in \mathbb R.$

— 迪利普·萨瓦特（Dilip Sarwate）
source

谢谢，我删除了我的反对意见，但我没有反对，因为它没有回答实际问题。假设我有一个不是正定的矩阵（例如通过“专家”进行修饰）。如果我使用它来校准和/或模拟数据会怎样？具体来说，这是一个真正的问题，当尝试研究一个大笔款项，并且本征值只有几个负值时？将非正半定相关矩阵转换为正半定相关矩阵的有效算法是什么？此算法会产生什么影响？

— lcrmorin

@Were_cat谢谢你的支持。

— Dilip Sarwate

您能解释一下第一个等式中的第一个等式吗？

— Vivek Subramanian

1

@VivekSubramanian方差是协方差函数的一种特殊情况：

并且协方差函数是双线性的（这意味着它是关于每个参数的线性函数：

var (X) = cov (X, X)

$\operatorname{var}(X)=\operatorname{cov}(X,X)$

\begin{aligned} 冠状病毒 （ \sum_{一世} {一种}_{一世} X_{一世} ， ÿ ） & = \sum_{一世} {一种}_{一世} 冠状病毒 （ X_{一世} ， ÿ ） \\ 冠状病毒 （ X ， \sum_{一世} b_{Ĵ} ÿ_{Ĵ} ， ） & = \sum_{Ĵ} b_{Ĵ} 冠状病毒 （ X ， ÿ_{Ĵ} ） \end{aligned}

$\begin{align}\operatorname{cov}\left(\sum_i a_iX_i,Y\right)&=\sum_i a_i\operatorname{cov}(X_i,Y)\\ \operatorname{cov}\left(X, \sum_i b_jY_j,\right) &=\sum_j b_j \operatorname{cov}(X,Y_j)\end{align}$

— Dilip Sarwate

18

答案很简单。

因此定义了相关矩阵：

让是数据矩阵：观测值，变量。 $X = [x_1, x_2, ..., x_n]$ $m\times n$ $m$ $n$

定义作为归一化的数据的矩阵，是平均值为变量1，的平均值为变量2，等等，和可变1等的标准偏差，和是全1的矢量。 $X_b= [\frac{(x_1-\mu_1 e)}{s_1}, \frac{(x_2-\mu_2 e)}{s_2}, \frac{(x_3-\mu_3 e)}{s_3}, ...]$ $\mu_1$ $\mu_2$ $s_1$ $e$

然后是相关矩阵

C = X_{b}^{'} X_{b}

$C=X_b' X_b$

甲矩阵是半正定的，如果没有矢量使得。 $A$ $z$ $z' A z <0$

$C$ $w' C w<0$

$(w' C w)=(w' X_b' X_b w)=(X_b w)'(X_b w) = {z_1^2+z_2^2...}$ $z=X_b w$ $w' C w$

$U$ $V' V$

— 格雷戈尔
source

2

到目前为止，这是最清晰，最简洁，最有用的答案。谢谢！

— Yohan Obadia

12

（可能的推理上的松懈是我的。我不是数学家：这是描述，不是证明，是我的数字实验，而不是书籍。）

阿半正定（PSD）矩阵，也称为格拉姆矩阵，是没有负的特征值的矩阵。特征值为负的矩阵不是正半定值或非格拉姆式。两者都可以是确定的（无零特征值）或奇异的（至少有零个特征值）。[数学中，“ Gramian”一词有几种不同的含义，因此应避免使用。]
在统计中，我们通常将这些术语应用于SSCP类型矩阵，也称为标量积矩阵。相关或协方差矩阵是此类矩阵的特例。
$n$ $p$ $p$ $p$ $n$ $n$ 案例之间的协方差矩阵。从实际数据计算时，矩阵将始终为Gramian。如果（1）它是直接测量（即不是从数据计算而来）的相似度矩阵或相似度度量值不是SSCP类型，则可能会获得非Gramian（非psd）矩阵；（2）矩阵值输入错误；（3）矩阵实际上是Gramian，但（或接近）是奇异的，因此有时计算特征值的频谱方法会产生微小的负值，而不是真正的零或微小的正值。
$d_{12}^2 = h_1^2+h_2^2-2s_{12}$ $s$ $h$ $X$ $Y$ $d_{xy}^2 = \sigma_x^2+\sigma_y^2-2cov_{xy}$
$m$ $m$
$m$ $m$ $m$
非格拉姆（非欧几里得）配置的可能原因或版本是什么？在考虑[点4]时得出答案。
- $m$ $m$ $d$
- $h$ $d$ $d$ $h$ $h$
- $d$ $h$ $h_1+h_2 \ge d_{12} \ge |h_1-h_2|$
$|cov_{ij}| \gt \sigma_i \sigma_j$

图。1。

图。1

图2。

图3。

— ttnphns
source

2

点6需要演示：您已经证明平方的欧几里得距离矩阵是pd，但是您断言没有证明每个pd矩阵都对应点的欧几里得构型。另外，您还没有将pd的定义（“无负特征值”）与任何后续特征相关联。关键思想来自最后（第8点）：可以使用pd矩阵定义距离。从逻辑上讲，这是您应该开始分析的地方。

— ub

@whuber：谢谢您的严格评估。恐怕在数学证明方面，我会下沉。我已经报告了部分实践经验（我说过）；答案并不是真正的分析序列。然后，您是否不想添加自己的答案以纠正/改善我的问题？可能会产生宝贵的帮助。或者，如果您发现我的文字不是完全徒劳的，则可以自由地对其进行改进。

— ttnphns 2013年

PS我的观点8暗示着，由于双重居中将点的配置锚定到它的质心，因此此操作本身不会引入非euclidity（它只会产生奇点，因为新的点，center属于同一空间）。因此，我们可以检查初始配置是否为欧几里得。那不正确吗？

— ttnphns