如何判断PCA结果中没有模式？

我有19个变量的1000多个样本数据集。我的目标是根据其他18个变量（二进制和连续变量）预测一个二进制变量。我非常有信心6个预测变量与二进制响应相关联，但是，我想进一步分析数据集并寻找我可能会缺少的其他关联或结构。为了做到这一点，我决定使用PCA和群集。

当对归一化的数据运行PCA时，为了保留85％的差异，需要保留11个组件。 通过绘制对图，我得到了：

我不确定下一步是什么...我在pca中看不到明显的模式，我想知道这是什么意思，以及它是否可能是由于某些变量是二进制变量而引起的。通过运行具有6个聚类的聚类算法，我得到以下结果，尽管有些斑点看起来比较突出（黄色斑点），但这并不是一个确切的改进。

您可能会说，我不是PCA方面的专家，但是我看到了一些教程，以及如何了解高维空间中的结构是多么强大。使用著名的MNIST数字（或IRIS）数据集，效果很好。我的问题是：我现在应该怎么做才能使PCA更加有意义？聚类似乎没有任何用处，我如何判断PCA中没有模式，或者接下来我该怎么做才能在PCA数据中找到模式？

您解释的方差图告诉我PCA在这里毫无意义。11/18是61％，因此您需要61％的变量来解释85％的方差。我认为PCA并非如此。当3-5个18的因子解释了大约95％的方差时，我使用PCA。

更新：查看由PC数量解释的累积方差百分比图。这来自利率期限结构建模领域。您会看到3个成分如何解释总方差的99％以上。这看起来像是PCA广告的伪造示例：)但是，这是真实的事情。利率期限非常相关，这就是为什么PCA在此应用程序中非常自然的原因。无需处理几十个男高音，您只需处理三个组成部分。

$N>1000$$p=19$

如果您确信只有一部分变量确实可以解释，那么使用稀疏回归模型（例如Elastic Net）可以帮助您确定这一点。

同样，使用混合类型输入（二进制与实数，不同比例等，请参见此处的CV问题）对PCA结果的解释也不是那么简单，除非有明确的理由，否则您可能希望避免使用它。

我将尽可能简洁地解释您的问题。让我知道它是否改变了您的意思。

我非常有信心，其中有6个预测变量与二进制响应相关联[但是]我发现pca中没有明显的模式

除了配对图中的一致性外，我也看不到任何“重要模式”。它们全都是大致圆形的斑点。我很好奇您预期会看到什么。显然是一些成对的点簇吗？一些非常接近线性的图？

您的PCA结果-斑点样的对图和仅在前11个主要成分中捕获的85％的方差-不会排除您对6个变量足以进行二进制响应预测的预感。

想象一下这些情况：

1. 假设您的PCA结果显示99％的方差被6个主要成分捕获。

   这似乎可以支持您对6个预测变量的预感-也许您可以在6维空间中定义一个平面或某个其他表面，从而很好地对这些点进行分类，并且可以将该表面用作二进制预测变量。这使我排名第二...

2. 假设您的前6个主要组件具有如下所示的对偶

   

   但是让我们对任意二进制响应进行颜色编码

   

   即使您设法捕获了6个变量中几乎所有（99％）的方差，也仍然不能保证通过空间分离来预测二进制响应。

实际上，您可能需要几个数字阈值（可以将其绘制为该6维空间中的曲面），并且二进制分类的点隶属关系可能取决于该点与每个阈值之间关系的复杂条件表达式。但这只是如何预测二进制类的一个示例。有大量的数据结构和方法用于表示，训练和预测。 这是一个预告片。报价，

解决机器学习问题的最难的部分通常是为工作找到合适的估计器。