什么相关使矩阵奇异？奇异或接近奇异意味着什么？

我在不同的矩阵上进行一些计算（主要是在逻辑回归中），并且通常会收到错误“矩阵是奇异的”，我必须返回并删除相关变量。我的问题是，您认为“高度”相关的矩阵是什么？有相关阈值来表示这个词吗？就像某个变量与另一个变量相关联是0.97一样，这是否足以使矩阵奇异？

如果问题很基本，我很抱歉，我找不到任何谈论此问题的参考文献（对任何参考文献的提示将是一个很大的加分！）。

什么是奇异矩阵？

方阵是奇异的，即如果行列包含成比例相关的行列式，则行列式为零。换句话说，它的一个或多个行（列）可以完全表示为所有或某些其他行（列）的线性组合，该组合没有常数项。

想象一下，例如 ×矩阵对称，如相关子矩阵，或不对称。例如，如果就其条目而言，看来，则矩阵是奇异的。作为另一个示例，如果它的，则再次为单数。在特定情况下，如果任何行仅包含零，则矩阵也是奇异的，因为任何列都是其他列的线性组合。通常，如果方阵的任何行（列）是其他行（列）的加权和，则后者中的任何一个也是其他行（列）的加权和。$3 \times 3$$A$$\text {col}_3 = 2.15 \cdot \text {col}_1$$A$$\text{row}_2 = 1.6 \cdot \text{row}_1 - 4 \cdot \text{row}_3$$A$

奇异或接近奇异的矩阵通常称为“病态”矩阵，因为它在许多统计数据分析中都会带来问题。

哪些数据产生变量的奇异相关矩阵？

为了使相关或协方差矩阵成为上述奇异矩阵，必须具有什么样的多元数据？这是变量之间存在线性相互依赖性的时候。如果某个变量是其他变量的精确线性组合，且允许使用常数项，则变量的相关和协方差矩阵将是奇异的。在此类矩阵的各列之间观察到的依存关系实际上与在变量居中（其均值变为0）或标准化（如果我们指的是相关性而不是协方差矩阵）后在数据中观察到的变量之间的依赖关系相同。

当变量的相关/协方差矩阵为奇数时，通常会出现以下几种特殊情况：（1）变量数等于或大于个案数；（2）两个或两个以上的变量求和成一个常数；（3）两个变量相同或仅在均值（水平）或方差（标度）上不同。

同样，在数据集中重复观察将导致矩阵趋于奇异。克隆案例的次数越多，奇异性就越强。因此，当对缺失值进行某种估算时（从统计和数学角度来看）向估算数据中添加一些噪声总是有益的。

奇异性作为几何共线性

在几何学观点上，奇异性是（多重）共线性（或“ 共面性 ”）：在空间中显示为矢量（箭头）的变量在二维空间中小于变量数，而在缩小空间中。（该维数称为矩阵的秩；它等于矩阵的非零特征值的数量。）

在更遥远或“超验”的几何视图中，奇异性或零定性（特征值零的存在）是矩阵的正定性与非正定性之间的弯曲点。当一些载体变量（这是相关/协方差矩阵）“超越”大话甚至在减少欧氏空间-让他们无法“会聚”或“完全跨越” 欧氏空间了，出现非正定性，即相关矩阵的某些特征值变为负值。（有关非正定矩阵，又名非gramian的信息，请参见此处。）对于某些统计分析，非正定矩阵也是“病态的”。

回归中的共线性：几何解释和含义

下面的第一张图片显示了具有两个预测变量的正常回归情况（我们将介绍线性回归）。图片是从此处复制的，在此进行了详细说明。简而言之，适度相关（=在它们之间具有锐角）的预测变量和跨2维空间“平面X”。因变量正交投影到其上，使预测变量和残差具有st。偏差等于的长度。回归的R平方是和之间的夹角，并且两个回归系数与偏斜坐标直接相关$X_1$$X_2$$Y$$Y'$$e$$Y$$Y'$$b_1$和。$b_2$

下图显示了完全共线预测变量的回归情况。和完全相关，因此这两个向量重合并形成线，即一维空间。这是减少的空间。虽然在数学上，必须使用 X平面才能解决带有两个预测变量的回归问题-但是，现在不再定义该平面了。幸运的是，如果我们放下两个共线预测中的任何一个进行分析的回归然后简单地解决，因为一个预测回归需要一维预测空间。我们看到预测和误差$X_1$$X_2$ÿ ' ë$Y'$$e$图片上绘制的（单预测）回归。除了删除变量之外，还有其他方法可以消除共线性。

下面的最后一张图片显示了具有几乎共线的预测变量的情况。这种情况有所不同，并且更加复杂和令人讨厌。和（均再次以蓝色显示）紧密相关，因此几乎重合。但是，两者之间仍然存在微小的角度，并且由于非零角度而定义了平面X（图片上的该平面看起来像第一张图片上的平面）。因此，在数学上没有问题可以解决回归问题。这里出现的问题是统计上的。$X_1$$X_2$

通常，我们进行回归以推断R平方和总体中的系数。从样本到样本，数据略有不同。因此，如果我们再取一个样本，则两个预测变量向量的并置将略有变化，这是正常的。不是“正常”的是在接近共线性下会导致毁灭性后果。想象一下，偏离平面X稍微向下-如灰色矢量所示。由于两个预测变量之间的夹角很小，因此将通过并通过漂移的平面X 将与旧平面X 急剧偏离。因此，由于和$X_1$X 2 X 1 X 1 X 2$X_2$$X_1$$X_1$$X_2$它们之间的相关性非常高，因此我们期望同一人口的不同样本中的X平面会非常不同。由于X平面不同，因此预测，R平方，残差，系数-一切也会变得不同。在图片上可以很好地看到，X平面在40度左右摆动。在这种情况下，估计值（系数，R平方等）非常不可靠，这是由其巨大的标准误差表示的。相反，在预测变量远离共线的情况下，估计是可靠的，因为预测变量所跨越的空间对于数据的那些采样波动是健壮的。

共线性是整个矩阵的函数

即使两个变量之间的相关性很高（如果低于1），也不一定会使整个相关矩阵都是奇异的。它也取决于其他相关性。例如，此相关矩阵：

1.000     .990     .200
 .990    1.000     .100
 .200     .100    1.000

的行列式.00950与0仍有很大差异，在许多统计分析中都被认为是合格的。但是这个矩阵：

1.000     .990     .239
 .990    1.000     .100
 .239     .100    1.000

行列式.00010，接近0。

共线性诊断：进一步阅读

统计数据分析（例如回归分析）结合了特殊的索引和工具，以检测足够强大的共线性，以考虑从分析中除去某些变量或病例，或采取其他治疗手段。请搜索（包括此站点）“共线性诊断”，“多重共线性”，“奇异/共线性公差”，“条件指数”，“方差分解比例”，“方差膨胀因子（VIF）”。