如果研究中验证准确性高而测试准确性低怎么办？

我对机器学习研究中的验证有一个特定的问题。

众所周知，机器学习机制要求研究人员在训练数据上训练他们的模型，通过验证集从候选模型中进行选择，并报告测试集的准确性。在非常严格的研究中，测试集只能使用一次。但是，它永远不可能成为研究方案，因为在发表（甚至提交）论文之前，我们必须提高性能，直到测试准确性优于最新结果为止。

现在出现了问题。假设50％是最先进的结果，而我的模型通常可以达到50--51的精度，平均而言更好。

但是，我的最佳验证准确性（52％）产生了非常低的测试准确性，例如49％。然后，如果我无法进一步提高验证acc，则必须报告49％的总体性能，这对我来说是没有希望的。这确实使我无法研究问题，但是对我的同伴来说并不重要，因为他们没有看到52％的符合率，我认为这是一个离群值。

那么，人们通常在研究中如何做？

ps k-fold验证没有帮助，因为相同的情况仍然可能发生。

根据定义，当训练准确性（或您使用的任何度量）高于测试时，您将拥有一个过拟合模型。从本质上讲，您的模型了解到的细节有助于其在训练数据中更好地发挥作用，而这些不适用于较大的数据群，因此会导致性能下降。

我不确定为什么您说k倍验证不会有帮助。其目的是帮助避免模型过度拟合。也许您没有足够的数据？这样的声明很重要，尤其是在强烈建议使用这种交叉验证方法时，如果您要捍卫任何研究，则尤其如此。

您说您一次只能使用测试集（再次假设样本量较小？）。以我的经验，最常见的方法是对模型进行k折交叉验证。让我们以100样本量的10倍CV为例，并假设您的分类问题是二进制的，以使计算简单。因此，我将数据分为10个不同的折叠。然后，我将模型拟合为9/10倍，然后预测我遗漏的1/10。对于第一次运行，生成的混淆矩阵为：

    0  1
0   4  1
1   2  3

然后，我再重复一次此分析，将剩下的1/10折叠留给其他9/10。并得到我的下一个困惑矩阵。完成后，我将有10个混淆矩阵。然后，我将对这些矩阵求和（因此我预测了所有100个样本），然后报告我的统计信息（准确性，PPV，F1得分，Kappa等）。如果您的准确性不理想，那么还有许多其他可能性。

1. 您的模型需要改进（更改参数）
2. 您可能需要尝试其他机器学习算法（并非所有算法都相同）
3. 您需要更多数据（很难找到细微的关系）
4. 您可能需要尝试转换数据（取决于使用的算法）
5. 您的因变量和自变量之间可能没有任何关系

问题的实质是，比您的培训要低的测试指标（例如，准确性）表明模型过度拟合，而不是尝试创建新的预测模型时想要的东西。