分类精度低，下一步该怎么办？

因此，我是ML领域的新手，因此尝试进行一些分类。我的目标是预测体育赛事的结果。我收集了一些历史数据，现在尝试训练分类器。我得到了大约1200个样本，其中有0.2个样本出于测试目的而拆分，其他样本则使用不同的分类器进行了网格搜索（包括交叉验证）。到目前为止，我已经尝试过使用线性，rbf和多项式内核以及随机森林的SVM。不幸的是，我无法获得显着大于0.5的精度（与随机选择类相同）。这是否意味着我无法预测如此复杂事件的结果？或者我可以获得至少0.7-0.8的精度？如果可行，那么接下来我应该考虑什么？

• 获取更多数据？（我最多可以将数据集放大5倍）
• 尝试其他分类器？（逻辑回归，kNN等）
• 重新评估我的功能集？有没有要分析的机器学习工具，哪些功能有意义，哪些没有？也许我应该减少功能集（目前我有12个功能）？

首先，如果您的分类器没有比随机选择更好，那么就有危险，就是要素和类之间根本就没有联系。在这样的位置问自己一个好问题，就是您或领域专家可以根据给定的特征推断出该类（其准确性大于随机分类器）。如果否，那么获取更多数据行或更改分类器将无济于事。您需要做的是使用不同的功能来获取更多数据。

另一方面，如果您认为推断类别所需的信息已经在标签中，则应检查分类器是否存在高偏差或高方差问题。

为此，根据训练示例绘制验证误差和训练集误差。

如果这些线似乎收敛到相同的值并在末尾接近，则您的分类器具有较高的偏差，添加更多数据将无济于事。在这种情况下，一个好主意是更改具有较高方差的分类器，或者只是降低当前分类器的正则化参数。

另一方面，如果这些线相距很远，并且训练集错误较低，但验证错误较高，则分类器的方差太大。在这种情况下，获取更多数据很有可能会有所帮助。如果获取更多数据后方差仍然太大，则可以增加正则化参数。

当遇到像您这样的问题时，这是我会使用的一般规则。

干杯。

我建议退后一步，在尝试分类之前进行一些探索性数据分析。值得逐一检查您的功能，以查看是否与感兴趣的结果有任何关系-可能您所拥有的功能与类标签没有任何关联。您怎么知道您拥有的功能是否有用？

您可以从进行假设检验或相关分析开始，以测试关系。生成要素的特定于类别的直方图（即，在同一轴上为给定要素绘制每个类别的数据的直方图）也是一种很好的方法，用于显示要素在两个类别之间是否能很好地区分。

重要的是要记住，尽管不要让探索性分析的结果影响分类的选择。根据先前对相同数据进行的探索性分析来选择分类功能，可能会导致过拟合和性能估计有偏差（请参阅此处的讨论），但是探索性分析至少可以让您了解您要执行的任务是否均匀可能。

最好将数据分为训练数据和测试数据。

训练时您的训练错误是否减少了？如果不是，则您的训练算法可能有错误。您期望测试集上的误差大于训练集上的误差，因此，如果训练集上的误差过高，那么成功的希望就很小。

摆脱功能可以避免某些类型的过拟合。但是，它不应改善您的训练集上的错误。训练集上的错误率低而测试集上的错误率高则可能表明您使用了过于灵活的功能集而过度拟合。但是，通过交叉验证进行检查比在测试集中进行检查更为安全。根据测试集选择功能集后，该功能集就不再有效。

为什么不遵循“先查看数据图”的原则。您可以做的一件事是两个协变量的两个类别条件密度的2D散点图。如果您查看这些内容，并且几乎没有发现可能表明缺乏可预测性的分离，则可以使用所有协变量来进行分离。这使您对使用这些协变量进行预测的能力有了一些想法。如果您希望这些变量能够分开一些，那么请开始考虑线性判别，二次判别，核识别，正则化，树分类，SVM等。