分类概率阈值

我有一个关于分类的问题。令f为一个分类器，在给定一些数据D的情况下输出一组概率。通常，人们会说：好吧，如果P（c | D）> 0.5，我们将分配一个类1，否则将分配一个0（将其设为二进制）分类）。

我的问题是，如果我发现，如果我将概率也大于1，即0.2，则分类器的性能会更好。在进行分类时使用此新阈值是否合法？

我将解释在数据发出较小信号的情况下降低分类界限的必要性；但对于分类问题仍然很重要。

我意识到这是一种实现方法，但是如果这不是正确的想法，那将是什么数据转换，它们以类似的方式强调各个特征，因此阈值可以保持在0.5？

弗兰克·哈雷尔（Frank Harrell）在他的博客中写道：分类与预测，我对此表示完全赞同。

本质上，他的观点是，当您为新样本的每个类别输出概率时，练习的统计组成部分结束。选择一个阈值，将新观察值分类为1 vs. 0不再是统计信息的一部分。它是决策组件的一部分。在这里，您需要模型的概率输出-还需要考虑以下因素：

• 决定将新观测值视为1类vs. 0的后果是什么？然后，我是否将便宜的营销邮件发送给所有人？还是我会采用副作用大的浸润性癌症治疗方法？
• 将“ true” 0视为1的结果如何，反之亦然？我会打勾顾客吗？使某人不必要的治疗？
• 我的“班级”真的离散吗？还是实际上存在一个连续体（例如血压），而临床阈值实际上只是认知捷径？如果是这样，我现在正在“分类”的情况超出阈值多远？
• 还是只有低但为正的概率成为1类实际上意味着“获取更多数据”，“进行另一项测试”？

因此，要回答您的问题：与您的分类的最终用户交谈，并获得上述问题的答案。或向她或他解释您的概率输出，然后让她或他逐步进行下一步。

斯蒂芬的答案很好。从根本上说，这取决于您要对分类器执行的操作。

仅添加一些示例。

找到最佳阈值的一种方法是定义目标函数。对于二进制分类，这可以是精度或F1分数。最佳选择取决于最佳选择。对于F1分数，这里有一个有趣的答案：什么是F1最佳阈值？如何计算呢？。但是说“我想使用F1分数”是您实际做出选择的地方。这个选择是否好取决于最终目的。

另一种看到它的方式是面临勘探与开发之间的权衡（斯蒂芬的最后一点）：多臂匪徒就是这样一个问题的例子：您必须处理两个相互矛盾的目标，即获取信息和选择最佳匪徒。 。一种贝叶斯策略是随机选择每个土匪，以其为最佳概率。它不是完全分类，而是以类似方式处理输出概率。

如果分类器只是决策算法中的一块砖，那么最佳阈值将取决于算法的最终目的。应针对整个过程的目标功能进行评估和调整。

在考虑如何计算概率时可能会有一些价值。如今，分类器使用偏差向量，该偏差向量乘以一个矩阵（线性代数）。只要向量中存在任何非零值，概率（向量与矩阵的乘积）就永远不会为0。

我猜这在没有线性代数的人们的真实世界中引起了混乱。他们感到困扰的是，他们认为应该具有0的项目存在概率得分。换句话说，他们混淆了基于该输入的决策所产生的统计输入。作为人类，我们可以说在大多数“实际”用例中，概率为0.0002234的东西等于0。在更高层次的认知科学讨论中，也许有一个有趣的讨论，关于偏向矢量为什么这样做，或者更确切地说，对于认知应用而言是否有效。

没有错误的阈值。您选择的阈值取决于预测的目标，或者取决于您想要的目标，例如精度与召回率（尝试对其进行图形化处理并测量其关联的AUC，以比较所选的不同分类模型）。

我在此给出精度与召回率的示例，因为我现在正在处理自己的问题案例，因此我根据预测时希望模型具有的最小精度（或PPV正预测值）来选择阈值，但是我不太关心负面因素。这样，一旦我训练了模型，我就会采用与所需精度相对应的阈值。与其他分类模型比较时，精度是我的约束，召回率是模型的性能。