如何知道您的机器学习问题是没有希望的？

想象一下标准的机器学习场景：

您面临着庞大的多元数据集，并且您对它的理解很模糊。您需要做的是根据所拥有的东西对一些变量进行预测。像往常一样，您清理数据，查看描述性统计信息，运行某些模型，对其进行交叉验证等，但是经过几次尝试，来回尝试多个模型后，似乎没有任何效果，而且您​​的结果很可悲。您可能会花费数小时，数天或数周的时间解决此类问题...

问题是：何时停止？您怎么知道您的数据实际上是绝望的，所有花哨的模型对预测所有案例或其他琐碎解决方案的平均结果都不会带来什么好处？

当然，这是一个可预测性问题，但是据我所知，在尝试对多变量数据进行评估之前很难评估它。还是我错了？

_{免责声明：这个问题是受这个问题启发的。 我什么时候停止寻找模特儿了？并没有引起太多关注。对此问题有详细的答案以供参考是很好的。}

可预测性

没错，这是一个可预测性问题。已经有上的可预测性几篇文章在IIF的面向医生，杂志前瞻。（全部披露：我是副编辑。）

问题在于，在“简单”的案例中，可预测性已经很难评估。

一些例子

假设您有一个这样的时间序列，但是不讲德语：

您将如何模拟四月份的高峰，以及如何将这些信息包括在任何预测中？

除非您知道此时间序列是瑞士超市连锁店中鸡蛋的销售量（该价位在复活节前夕达到顶峰），否则您将没有机会。另外，随着复活节在日历中移动最多六周，任何不包括复活节特定日期的预测（例如，假设这只是某个季节性高峰，将会在明年的特定星期出现）。可能会非常困难。

同样，假设您有下面的蓝线，并且想要对2010-02-28发生的任何事件进行建模，与2010-02-27的“正常”模式有所不同：

同样，如果不知道当整个加拿大人都在电视上观看奥运会冰球决赛比赛时会发生什么，您将毫无机会了解这里发生的事情，并且您将无法预测何时会再次发生这种情况。

最后，看一下这个：

这是现金和随身用品商店每日销售的时间序列。（在右侧，您有一个简单的表格：282天的销售量为零，42天的销售量为1 ...而一天的销售量为500。）我不知道它是什么。

直到今天，我还不知道那天有500个销售发生了什么。我最大的猜测是，一些客户预订了很多这种产品并收集了。现在，在不知情的情况下，这一天的任何预测都将相去甚远。相反，假设这是在复活节之前发生的，并且我们有一个愚蠢的智能算法，认为这可能是复活节效应（也许是鸡蛋？），并高兴地预测下一个复活节有500个单位。噢，我的，可能是出问题。

摘要

在所有情况下，我们都只有在对影响数据的可能因素有了足够深入的了解后，才能更好地理解可预测性。问题在于，除非我们知道这些因素，否则我们将不知道自己可能并不了解它们。根据唐纳德·拉姆斯菲尔德：

这是已知的已知事物；有些事情我们知道我们知道。我们也知道有未知的事物。就是说我们知道有些事情我们不知道。但是，还有未知的未知数-我们不知道的我们不知道的。

如果复活节或加拿大人对曲棍球的偏爱对我们来说是未知的未知数，我们将陷于困境-我们甚至没有前进的道路，因为我们不知道我们需要问什么问题。

处理这些问题的唯一方法是收集领域知识。

结论

我从中得出三个结论：

1. 您始终需要在建模和预测中包括领域知识。
2. 即使拥有领域知识，也不能保证您获得足够的信息以使预测和预测为用户所接受。请参见上面的异常值。
3. 如果“您的结果很痛苦”，则您可能希望实现的目标更多。如果您预测抛硬币会很公平，那么就无法获得超过50％的准确性。也不要相信外部预测准确性基准。

底线

这是我建议建立模型的方式-并通知何时停止：

1. 如果您自己还没有知识，请与具有领域知识的人联系。
2. 根据第1步，确定您要预测的数据的主要驱动因素，包括可能的相互作用。
3. 迭代地构建模型，包括按照步骤2的强度降序排列驱动程序。使用交叉验证或保留样本评估模型。
4. 如果您的预测准确性没有进一步提高，请返回第1步（例如，通过确定您无法解释的公然错误预测，并与领域专家讨论这些错误预测），或者接受您已经达到最后的目标模型的功能。对您的分析进行时间装箱有帮助。

请注意，如果您的原始模型停滞不前，我不主张尝试使用不同类别的模型。通常，如果您以合理的模型开始，则使用更复杂的工具不会产生明显的好处，而可能只是“过度拟合测试集”。我经常看到这种情况，其他人也同意。

史蒂芬·科拉萨（Stephan Kolassa）的回答很好，但我想补充一点，通常也有经济停顿的状况：

1. 当您为客户而不是为了娱乐而进行ML时，应查看客户愿意花费的金额。如果他付给您公司5000欧元，而您花了一个月的时间来寻找模型，您将失去金钱。听起来微不足道，但是我已经看到“必须有一个解决方案！！！！”的想法，这导致了巨大的成本超支。因此，请在资金用尽时停止，并将问题传达给客户。
2. 如果您做了一些工作，您通常会感觉到当前数据集可以实现的目标。尝试将其应用于您可以从模型中赚取的金额，如果金额微不足道或为净负数（例如，由于收集数据，开发解决方案的时间等），则应该停止。

举个例子：我们有一个客户想要预测他的机器何时损坏，我们分析了现有数据并发现了噪音。我们深入到该过程中，发现最关键的数据没有记录，并且很难收集。但是没有这些数据，我们的模型太差了，没人会使用它，因此它是固定的。

虽然我在研究商业产品时侧重于经济学，但该规则也适用于学术界或娱乐项目-尽管在这种情况下，金钱不再是问题，但时间仍然是稀有商品。例如 在学术界，当您没有取得明显成果时，您应该停止工作，而您还有其他可以做的更有希望的项目。但是不要删除该项目-请同时发布null或“需要更多/其他数据”结果，它们也很重要！

还有另一种方法。问你自己 -

1. 谁或什么对这个特定变量做出最好的预测？”
2. 我的机器学习算法产生的结果是否比最佳预测好还是差？

因此，例如，如果您有大量变量与不同的足球队相关联，而您正试图预测谁会获胜，则可以查看庄家赔率或某种形式的人群预测来与您的机器学习结果进行比较算法。如果您更好，那么您可能会处于极限，如果更糟，那么显然还有改进的空间。

您的改进能力（广泛地）取决于两件事：

1. 在此特定任务中，您是否使用与最佳专家相同的数据？
2. 在此特定任务中，您是否像最佳专家一样有效地使用数据？

这完全取决于我要执行的操作，但是我倾向于使用这些问题的答案来指导建立模型时的发展方向，尤其是尝试提取更多我可以使用的数据还是专心研究试图完善模型。

我同意Stephan的观点，通常最好的方法是咨询一位域名专家。