为什么增加功能数量会降低性能？

我正试图了解为什么增加功能数量会降低性能。我目前正在使用LDA分类器，该分类器在某些功能中的双变量性能较好，但在查看更多功能时却较差。我的分类准确性是使用分层的10倍xval进行的。

是否存在一个简单的情况，即分类器在单维度上比双变量上更好地工作，以获得对这些更高维度中正在发生的事情的某种物理或空间直觉？

请参阅“ 维数问题：一个简单的示例 ” － GV Trunk撰写的非常简短且很老的文章。他考虑了两类问题，即高斯类条件分布，其中所有特征均相关，但相关性逐渐降低。他表明，在有限样本上训练的分类器的错误率收敛到0.5，而贝叶斯错误随着特征数量的增加而接近0。

这被称为“ 维数诅咒 ”。我不知道LDA是否有任何特定原因，但总的来说，特征向量结果具有很大的维度，需要更复杂的决策边界。具有复杂的边界还会带来一个问题：“程度如何？” 因为我们也会考虑过度拟合。另一方面，随着维度的增加，学习算法的复杂性也在增加。因此，使用具有较大特征向量的相对较慢的学习算法会使您的工作状况恶化。除维数外，您可能会拥有更多具有相关特征的功能，这些特征对许多学习算法（如神经网络或其他一些算法）不利。

您可能还会想到“维数诅咒”下的其他原因，但事实是要有足够数量的带有简洁特征向量的实例，这些实例可以通过某些特征选择例程进行处理。