非正定协方差矩阵对我的数据有什么影响？

我有许多多变量观测值，并希望评估所有变量的概率密度。假定数据是正态分布的。在低数量的变量下，一切都会按我预期的那样工作，但移至更大的数量会导致协方差矩阵变为非正定。

我已将Matlab中的问题减少为：

load raw_data.mat; % matrix number-of-values x number of variables
Sigma = cov(data);
[R,err] = cholcov(Sigma, 0); % Test for pos-def done in mvnpdf.

如果err> 0，则Sigma不是正定的。

为了评估更高维度的实验数据，我可以做些什么？它可以告诉我有关数据的任何有用信息吗？

我在这方面是个初学者，所以如果我错过了一些明显的事情，我深表歉意。

协方差矩阵不是正定的，因为它是奇异的。这意味着您的变量中的至少一个可以表示为其他变量的线性组合。您不需要所有变量，因为可以从其他变量的子集中确定至少一个变量的值。我建议按顺序添加变量，并在每一步检查协方差矩阵。如果新变量创建了一个奇异点，则将其删除，然后继续下一个。最终，您应该有一个带有正定协方差矩阵的变量子集。

这是有效的结果。协方差矩阵的该分量的估计为零，这很可能是正确的！它可能会导致计算困难，但是R中的某些算法（我不了解Matlab）可以解决这个问题。我不明白为什么人们对此感到不满并坚持采用更简约的模型。

我上面没有解决的一点是，即使变量不是完全线性相关的，也可以根据经验数据计算一个非正定协方差矩阵。如果您没有足够的数据（特别是如果您试图从一堆成对的比较中构建高维协方差矩阵），或者您的数据没有遵循多元正态分布，那么您可能会得出悖论关系在变量之间，例如cov（A，B）> 0; cov（A，C）> 0; cov（B，C）<0。

在这种情况下，由于没有满足这些条件的多元正态分布-cov（A，B）> 0和cov（A，C）> 0必然表示cov（B，C），因此无法拟合多元正态PDF ）> 0。

这就是说，一个非正定矩阵并不总是意味着您包括共线变量。这也可能表明您正在尝试为给定所选参数结构的关系建模。