交叉验证滥用（报告性能以获得最佳超参数值）

最近，我遇到了一篇论文，提出在特定数据集上使用k-NN分类器。作者使用所有可用的数据样本对不同的k值执行k倍交叉验证，并报告最佳超参数配置的交叉验证结果。

据我所知，这个结果是有偏差的，他们应该保留一个单独的测试集，以获取未用于执行超参数优化的样本的准确性估计。

我对吗？您能否提供一些参考（最好是研究论文）来描述交叉验证的这种滥用？

是的，仅报告k倍CV结果存在问题。您可以根据自己的目的使用例如以下三种出版物（当然，那里有更多出版物），将人们指引到正确的方向：

• 瓦玛（Varma）和西蒙（Simon）（2006）。“在使用交叉验证进行模型选择时，误差估计偏重。”BMC生物信息学，7：91

• Cawley＆Talbot（2010）。“关于模型选择中的过度拟合以及性能评估中的后续选择偏差。”机器学习研究杂志，11：2079-2107

• Bengio＆Grandvalet（2004）。“没有方差的无偏估计$K$-Fold Cross-Validation。“ 机器学习研究杂志，5：1081-1105

我个人喜欢这些，因为他们试图用简单的英语而不是数学来陈述问题。