为什么Python的scikit-learn LDA无法正常工作，它如何通过SVD计算LDA？

我使用来自scikit-learn机器学习库（Python）的线性判别分析（LDA）进行降维，并对结果有些好奇。我现在想知道LDA scikit-learn正在做什么，以便使结果看起来不同于例如手动方法或R中完成的LDA。如果有人可以在这里给我一些见解，那将是非常不错的。

基本上最令人担忧的是，该图scikit-plot显示了两个变量之间的相关性，其中应该有一个相关性0。

为了进行测试，我使用了虹膜数据集，前两个线性判别式如下所示：

IMG-1。通过scikit-learn进行LDA

这基本上与我在scikit-learn 文档中找到的结果一致。

现在，我逐步进行了LDA，并得到了不同的预测。我尝试了不同的方法，以了解发生了什么事情：

IMG-2。基于原始数据的LDA（无中心，无标准化）

如果我先对数据进行标准化（z分数归一化；单位方差），这将是分步方法。我只用均值中心进行了相同的操作，这应该导致相同的相对投影图像（并且确实如此）。

IMG-3。均值居中或标准化后的逐步LDA

IMG-4。R中的LDA（默认设置）

我将数据居中的IMG-3中的LDA（这将是首选方法）看起来也与我在R中执行LDA的人在帖子中找到的LDA完全相同

参考代码

我不想将所有代码粘贴到这里，但是我将其作为IPython笔记本上传到这里，该笔记本分为我用于LDA投影的几个步骤（请参见下文）。

1. 步骤1：计算d维平均向量 $$\mathbf m_i = \frac{1}{n_i} \sum\limits_{\mathbf x \in D_i}^n \; \mathbf x_k$$

2. 步骤2：计算散点矩阵

   2.1类内散布矩阵由以下等式计算：$S_W$
   

   $$S_W = \sum\limits_{i=1}^{c} S_i = \sum\limits_{i=1}^{c} \sum\limits_{\mathbf x \in D_i}^n (\mathbf x - \mathbf m_i)\;(\mathbf x - \mathbf m_i)^T$$

   2.2类间散布矩阵由以下公式计算： 其中是整体平均值。$S_B$
   

   $$S_B = \sum\limits_{i=1}^{c} n_i (\mathbf m_i - \mathbf m) (\mathbf m_i - \mathbf m)^T$$ $\mathbf m$

3. 步骤3.求解矩阵的广义特征值问题$S_{W}^{-1}S_B$

   3.1。通过减少特征值对特征向量进行排序

   3.2。选择具有最大特征值的k个特征向量。结合两个特征值最高的特征向量来构建维特征向量矩阵$d \times k$$\mathbf W$

4. 步骤5：将样本转换到新的子空间

   $$\mathbf y = \mathbf W^T \times \mathbf x.$$

更新：由于此讨论，scikit-learn已更新并可以正常工作。可在此处找到其LDA源代码。最初的问题是由于一个小错误（请参阅此github讨论），而我的答案实际上并未正确指向它（对造成的任何混乱表示歉意）。由于所有这些都不再重要了（错误已修复），我编辑了答案，重点关注如何通过SVD解决LDA，这是的默认算法scikit-learn。

在定义了类内和类间散布矩阵和，您的问题中指出的标准LDA计算是采用特征向量作为判别轴（例如参见此处）。但是，可以利用白化矩阵以稍微不同的方式计算相同的轴：$\boldsymbol \Sigma_W$$\boldsymbol \Sigma_B$$\boldsymbol \Sigma_W^{-1} \boldsymbol \Sigma_B$

1. 计算。对于合并的类内协方差而言，这是一次美白转换（有关详细信息，请参阅我的链接答案）。$\boldsymbol \Sigma_W^{-1/2}$

   请注意，如果您具有特征分解，则。还要注意，通过对合并的类内数据进行SVD​​可以计算出相同的值：。$\boldsymbol \Sigma_W = \mathbf{U}\mathbf{S}\mathbf{U}^\top$$\boldsymbol \Sigma_W^{-1/2}=\mathbf{U}\mathbf{S}^{-1/2}\mathbf{U}^\top$$\mathbf{X}_W = \mathbf{U} \mathbf{L} \mathbf{V}^\top \Rightarrow \boldsymbol\Sigma_W^{-1/2}=\mathbf{U}\mathbf{L}^{-1}\mathbf{U}^\top$

2. 找出特征向量，我们称它们为。$\boldsymbol \Sigma_W^{-1/2} \boldsymbol \Sigma_B \boldsymbol \Sigma_W^{-1/2}$$\mathbf{A}^*$

   同样，请注意，可以通过对类间数据进行SVD​​进行计算，并用，即，相对于类内数据将类间数据白化协方差。$\mathbf{X}_B$$\boldsymbol \Sigma_W^{-1/2}$

3. 判别轴将由，即由再次转换的变换数据的主轴给出。$\mathbf A$$\boldsymbol \Sigma_W^{-1/2} \mathbf{A}^*$

   确实，如果是上述矩阵的特征向量，则然后从左边乘以并定义，我们立即获得：$\mathbf a^*$

   $$\boldsymbol \Sigma_W^{-1/2} \boldsymbol \Sigma_B \boldsymbol \Sigma_W^{-1/2}\mathbf a^* = \lambda \mathbf a^*,$$ $\boldsymbol \Sigma_W^{-1/2}$$\mathbf a = \boldsymbol \Sigma_W^{-1/2}\mathbf a^*$ $$\boldsymbol \Sigma_W^{-1} \boldsymbol \Sigma_B \mathbf a = \lambda \mathbf a.$$

总而言之，LDA等效于针​​对类内协方差对类均值矩阵进行白化，对类均值进行PCA，然后将生成的主轴反向转换为原始（未白化）空间。

例如，在《统计学习的要素》第4.3.3节中指出了这一点。在scikit-learn这是默认的方式来计算LDA因为数据矩阵的SVD在数值上更稳定比其协方差矩阵的特征值分解。

请注意，可以使用任何白化转换来代替并且所有操作仍将完全相同。在中使用（而不是），然后它工作得很好（与我的答案中最初写的相反）。$\boldsymbol \Sigma_W^{-1/2}$scikit-learn $\mathbf{L}^{-1}\mathbf{U}^\top$$\mathbf{U}\mathbf{L}^{-1}\mathbf{U}^\top$

为了解决这个问题，在scikit-learn 0.15.2中修复了与LDA讨论的问题。