PCA和随机森林

对于最近的Kaggle竞赛，我（手动）为我的训练集定义了10个其他功能，然后将其用于训练随机森林分类器。我决定在具有新功能的数据集上运行PCA，以查看它们之间的比较。我发现〜98％的方差由第一个分量（第一个特征向量）承载。然后，我多次训练分类器，一次添加一个功能，然后使用交叉验证和RMS误差比较分类的质量。我发现，每增加一个附加功能，分类都会有所改善，并且最终结果（包含所有10个新功能）远远优于（带有）两个功能的首次运行。

• 鉴于PCA声称〜98％的方差在我的数据集的第一部分中，为什么分类的质量有了很大的提高？

• 这对其他分类器是否成立？RF跨多个内核扩展，因此训练速度比（例如）SVM要快得多。

• 如果将数据集转换到“ PCA”空间，然后在转换后的空间上运行分类器，该怎么办？我的结果将如何变化？

在进行预测建模时，您试图解释响应的变化，而不是特征的变化。没有理由相信，将尽可能多的特征变化填入单个新特征中将捕获整个特征的大量预测能力。

通常将其解释为主成分回归而不是偏最小二乘之间的差异。

第一个主要组成部分是所有功能的线性组合。它解释了几乎所有可变性的事实，仅意味着第一主成分中变量的大多数系数都是有效的。

现在，您生成的分类树也有点不同。他们对连续变量进行二进制拆分，以最好地分离您要分类的类别。这与寻找给出最大方差方向的连续变量的正交线性组合并不完全相同。实际上，我们最近讨论了一篇关于CV的论文，其中PCA用于聚类分析，作者发现有些情况下，最好的分离不是在前几个主要成分中，而在最后几个中。