我的数据集最多包含150个示例（分为训练和测试），并且具有许多功能（高于1000个）。我需要比较在数据上表现良好的分类器和特征选择方法。因此，我使用三种分类方法（J48，NB，SVM）和2种特征选择方法（CFS，WrapperSubset）以及不同的搜索方法（Greedy，BestFirst）。
比较时，我正在研究训练准确性（5折交叉折叠）和测试准确性。
这是J48和CFS-BestFirst的结果之一：
{“ accuracyTraining”：95.83，“ accuracyTest”：98.21}
许多结果是这样的，并且在SVM上有许多结果表明测试准确性远高于训练（训练：60％，测试：98％）
我如何有意义地解释这些结果？如果更低，我会说这太过合适了。通过查看所有结果，在这种情况下是否有关于偏差和方差的说法？我该怎么做才能使这种分类有意义，例如重新选择训练和测试集，或者仅对所有数据使用交叉验证？
我有73个培训和58个测试实例。一些答案在发布时没有此信息。
Answers:
我认为第一步是检查报告的培训和测试表现是否正确。
98.21％的测试准确性更难解释：在一次简历运行中，每个案例应测试一次。因此，可能报告的数字应为100％/ 150。98.21％对应于2.68个错误的案例（150个测试案例中有2个和3个错误案例的准确度分别为98.67和98.00％）。
如果可以提取模型，请从外部计算报告的精度。
我同意@mbq的观点，训练错误在机器学习中几乎没有用。但是您可能会在几种实际上有用的情况中之一：如果程序通过比较准确度来选择“最佳”模型，但只有训练错误可供选择，则您需要检查训练错误是否实际上允许合理的选择。选择。
@mbq概述了无法区分的模型的最佳情况。但是，更糟糕的情况也会发生：就像测试精度一样，训练精度也受制于方差，但与通常感兴趣的泛化精度相比却存在乐观偏见。这可能导致无法区分模型的情况，尽管它们确实具有不同的性能。但是由于他们的乐观偏见，他们的训练（或内部简历）准确性太接近而无法区分它们。例如，迭代特征选择方法可能会遇到这样的问题，这些问题甚至可能会持续存在于内部交叉验证准确性中（取决于交叉验证的实现方式）。
因此，如果可能出现此类问题，我认为最好检查程序是否使用正确的决策来做出明智的选择。这将意味着检查内部cv精度（假定用于选择最佳模型）是否相对于具有统计独立性的外部完成cv过于乐观。同样，综合和/或随机数据可以帮助找出程序实际执行的操作。
第二步是看看@mbq已经指出的，在统计上独立的分割中观察到的差异是否有意义。
我建议您计算在给定的样本量下需要观察到的准确度差异，以便得出具有统计学意义的差异。如果观察到的变化较小，则无法根据给定的数据集确定哪种算法更好：进一步的优化没有意义。
训练集的准确性在机器学习中毫无意义。忽略它。
假设算法的实现没有毛刺，让我们看一下问题。
想象一下从训练数据中提取一小部分并对其运行学习算法。显然，它将做得很好。总是有可能提取出达到接近98％准确性的子集。
现在，您的测试数据与此子集非常相似吗？如果是的话，那么您需要去收集更多的数据，希望更多些。从偏差方差的角度来看，我认为您的方差很高。