精度比召回率什么时候更重要?


17

谁能给我一些精度很重要的例子,而召回率很重要的例子?


f1-score是

除了在两者之间更重要的是什么之外,您还应该问在什么情况下要最大化一个最大化(这不一定会使另一个“不太重要”)。
gented's

Answers:


27
  • 对于罕见的癌症数据建模,任何不说明假阴性的事情都是犯罪。召回比精确度更好。
  • 对于YouTube的建议,假阴性的问题较少。精度在这里更好。

1
@fateh主要区别是FP与FN。YouTube的建议并不强调FN,但医院的临床决策必须如此。
HelloWorld '18

11

当召回更为重要时,我可以为您提供真实的案例:

每周我们都有成千上万的免费客户在我们的网站上注册。呼叫中心团队想给所有人打电话,但这是不可能的,所以他们要求我选择有机会成为买家的人(我们指的是高温)。我们不在乎要不要购买的人(因此精度并不重要),但对我们而言,重要的是,所有处于高温状态的人始终在我的选择范围内,因此他们也不会没有购买。这意味着我的模型需要具有很高的召回率,而不管精度是否达到目的。

希望对您有所帮助!米格尔


6

尽管在某些情况下召回可能比精确度更重要(反之亦然),但您都需要两者进行更可解释的评估。

例如,如@SmallChess所述,在医学界,对于初步诊断,假阴性通常比假阳性更具灾难性。因此,人们可能会认为召回是一项更重要的衡量标准。但是,您可能有100%的召回率,但有一个无用的模型:如果您的模型始终输出肯定的预测,则它会具有100%的召回率,但完全无用。

这就是我们查看多个指标的原因:


6

哪个更重要仅取决于每个错误的代价。

精度往往涉及直接成本;您拥有的误报次数越多,您获得的每个真实肯定报酬的成本就越高。如果您的成本很低,那么精度就无关紧要。例如,如果您有100万个电子邮件地址,并且向所有这些人发送电子邮件将花费10美元,那么您可能就不值得花时间去确定最有可能回复的人,而只是向他们发送垃圾邮件。

另一方面,召回往往涉及机会成本。每当您出现假阴性时,您就放弃了机会。因此,在附加正确识别的边际价值较小时(例如,存在多个机会,它们之间几乎没有什么区别,并且只能追寻有限的机会),召回是最不重要的。例如,假设您要购买一个苹果。商店里有100个苹果,其中10个不好。如果您有一种方法可以区分出漏掉好苹果中80%的坏苹果,那么您将识别出大约18个好苹果。通常,召回20%会很糟糕,但是如果您只想要5个苹果,那么错过其他72个苹果并不重要。

因此,在以下情况下召回最为重要:

-机会数量很少(如果只有10个好苹果,那么您不太可能找到5个召回率仅为20%的好苹果)
-机会之间存在显着差异(如果某些苹果比其他苹果好,那么20%的召回率就足以获得5个好苹果,但不一定是最好的苹果。)

-机会的边际收益仍然很高,即使有很多机会也是如此。例如,虽然大多数购物者不会从18种以上的优质苹果中受益匪浅,但该商店希望销售18种以上的苹果。

因此,当执行成本很高,但是不执行成本很低时,精度比召回更为重要。请注意,这是每个候选人采取行动/不采取行动的成本,而不是“根本不采取任何行动的代价”与“根本不采取任何行动的代价”。以苹果为例,它是购买/不购买特定苹果的成本,而不是购买一些苹果的成本与不购买任何苹果的成本;不买特定苹果的成本很低,因为还有很多其他苹果。由于购买坏苹果的成本很高,但通过特定的好苹果的成本却很低,因此在该示例中,精度更为重要。当有很多类似的候选人时,就会雇用另一个例子。

当行动成本低,但召回候选人的机会成本高时,召回比精确更重要。有一个我之前给出的垃圾邮件示例(丢失电子邮件地址的成本不高,但是向没有响应的人发送电子邮件的成本更低),另一个示例是识别候选人流感疫苗:将流感疫苗交给不需要的人,这需要花费几美元,不要将其交给需要它的人,他们可能会死。因此,医疗保健计划通常会向所有人提供流感疫苗,而完全不考虑准确性。


2

累积有你如何能拿出更多的例子解释过召回,反之亦然精度的重要性,一个伟大的答案。

其他大多数答案都充分说明了召回的重要性,因此我想举一个关于精度的重要性的例子。这是一个完全假设的示例,但确实如此。

假设我们创建了一个机器学习模型,以根据天气情况预测某天是否是发射卫星的好日子。

  • 如果模型意外地预言了发射卫星的好日子不好(假阴性),那么我们就错过了发射的机会。这没什么大不了的。

  • 但是,如果模型预测今天是好日子,但发射卫星实际上是不好的日子(假阳性),那么卫星可能会被毁,损失的成本将达到数十亿美元。

在这种情况下,精度比召回率更为重要。


1

在记住精度和查全率之间的区别之前,我经历了一段艰难的时光,直到我自己想到了这个助记符:

精确到怀孕测试就像呼叫到呼叫中心一样。

通过妊娠测试,测试制造商需要确保阳性结果表示该名妇女确实怀孕。人们可能会突然结婚或购买房屋来对正面测试做出反应(如果许多消费者因误报而无故遭受巨额成本,则测试制造商将缺少客户)。我曾经做过一次假阴性妊娠试验,这意味着我花了好几周才发现自己怀孕了……真相最终变得清晰起来。(双关语意)

现在想象一下一个呼叫中心的保险索赔。在欺诈者与合作者联系并在周末制作伪造的故事(“假设汽车被盗”)之后,大多数欺诈性索赔都会在周一致电。一家保险公司在星期一做的最好的事情是什么?也许他们应该调优以免召回而不是准确性。最好将更多的索赔标记为肯定的(可能是欺诈),以便进一步调查,而不是错过一些欺诈行为并支付本不应该支付的现金。可以通过指派经验丰富的调解员来消除误报(可能会进一步欺诈,但可能会造成客户损失的进一步审查),这可以通过指派经验丰富的调解人来解决,调解员可以坚持要求警方报告,要求制作安全录像带等。误报(接受骗子

F1很棒,但是了解如何使用测试/预测非常重要,因为总会有出错的风险……您想知道如果出错会带来多大的后果。


1

电子邮件垃圾邮件检测:这是一个示例,其中PrecisionRecall更重要。

快速回顾

  • 精确度:这告诉您何时预测出积极的一面,实际上多少次是积极的。而,

  • 回忆:从实际的积极数据中可以看出您正确预测了多少次。

上面已经说过,如果检测到垃圾邮件,那么如果未检测到垃圾邮件(阳性案例)并且不会进入垃圾邮件文件夹,则应该可以,但是,如果电子邮件质量良好(阴性),则一定不要垃圾邮件文件夹。即精度更重要。(如果模型预测为正面(例如垃圾邮件),最好是垃圾邮件。否则,您可能会错过重要的电子邮件)。

希望它能澄清。

By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.