特征数量与观测值数量

关于功能数量和训练“稳健”分类器所需的观察数量之间的关系，是否有任何论文/书籍/想法？

例如，假设我有两个类的1000个要素和10个观察值作为训练集，而其他10个观察值作为测试集。我训练了一些分类器X，它在测试集上为我提供90％的灵敏度和90％的特异性。假设我对这种准确性感到满意，并据此可以说它是一个很好的分类器。另一方面，我仅使用10个点就近似了1000个变量的函数，这似乎不是很...稳健吗？

您在这里遇到的是维数的诅咒或p >> n问题（其中p是预测变量，n是观测值）。多年来，已经开发出许多技术来解决该问题。您可以使用AIC或BIC惩罚具有更多预测变量的模型。您可以选择随机变量集并使用交叉验证评估其重要性。您可以使用岭回归，套索或弹性网进行正则化。或者，您可以选择一种能够很好地处理大量预测变量的技术，例如支持向量机或随机森林。

老实说，解决方案取决于您要解决的问题的特定性质。

$\vec{+1}$$\vec{-1}$$0.000001*\vec{I}$$\vec{I}$，没有大量的培训数据可以为您提供有用的分类器。归根结底，给定数量的功能所需的样本数量取决于数据的分布方式，通常，功能越多，就需要更多的数据来充分描述数据的分布（如果不幸的话，特征数量的指数级-请参见Zach提到的维数诅咒）。

如果使用正则化，则原则上（上限），泛化误差与要素数量无关（请参阅Vapnik在支持向量机上的工作）。然而，这留下了寻找正则化参数的良好值的问题（交叉验证很方便）。

您可能对经典建模的印象太过深刻，因为它容易受到Runge悖论之类的问题的影响，因此需要在后期处理中进行一些简约的调整。
但是，在机器学习的情况下，将鲁棒性作为模型优化目标的想法只是整个领域的核心（通常表示为对看不见的数据的准确性）。因此，好吧，只要您知道您的模型运行良好（例如，通过CV），就没有必要打扰了。

$p\gg n$

多年来，我绝对是最有价值的书之一，是《廷斯利和布朗的手册》。书中有许多地方由不同的撰稿人讨论。