Answers:
哪个更重要仅取决于每个错误的代价。
精度往往涉及直接成本;您拥有的误报次数越多,您获得的每个真实肯定报酬的成本就越高。如果您的成本很低,那么精度就无关紧要。例如,如果您有100万个电子邮件地址,并且向所有这些人发送电子邮件将花费10美元,那么您可能就不值得花时间去确定最有可能回复的人,而只是向他们发送垃圾邮件。
另一方面,召回往往涉及机会成本。每当您出现假阴性时,您就放弃了机会。因此,在附加正确识别的边际价值较小时(例如,存在多个机会,它们之间几乎没有什么区别,并且只能追寻有限的机会),召回是最不重要的。例如,假设您要购买一个苹果。商店里有100个苹果,其中10个不好。如果您有一种方法可以区分出漏掉好苹果中80%的坏苹果,那么您将识别出大约18个好苹果。通常,召回20%会很糟糕,但是如果您只想要5个苹果,那么错过其他72个苹果并不重要。
因此,在以下情况下召回最为重要:
-机会数量很少(如果只有10个好苹果,那么您不太可能找到5个召回率仅为20%的好苹果)
-机会之间存在显着差异(如果某些苹果比其他苹果好,那么20%的召回率就足以获得5个好苹果,但不一定是最好的苹果。)
或
-机会的边际收益仍然很高,即使有很多机会也是如此。例如,虽然大多数购物者不会从18种以上的优质苹果中受益匪浅,但该商店希望销售18种以上的苹果。
因此,当执行成本很高,但是不执行成本很低时,精度比召回更为重要。请注意,这是每个候选人采取行动/不采取行动的成本,而不是“根本不采取任何行动的代价”与“根本不采取任何行动的代价”。以苹果为例,它是购买/不购买特定苹果的成本,而不是购买一些苹果的成本与不购买任何苹果的成本;不买特定苹果的成本很低,因为还有很多其他苹果。由于购买坏苹果的成本很高,但通过特定的好苹果的成本却很低,因此在该示例中,精度更为重要。当有很多类似的候选人时,就会雇用另一个例子。
当行动成本低,但召回候选人的机会成本高时,召回比精确更重要。有一个我之前给出的垃圾邮件示例(丢失电子邮件地址的成本不高,但是向没有响应的人发送电子邮件的成本更低),另一个示例是识别候选人流感疫苗:将流感疫苗交给不需要的人,这需要花费几美元,不要将其交给需要它的人,他们可能会死。因此,医疗保健计划通常会向所有人提供流感疫苗,而完全不考虑准确性。
在记住精度和查全率之间的区别之前,我经历了一段艰难的时光,直到我自己想到了这个助记符:
精确到怀孕测试就像呼叫到呼叫中心一样。
通过妊娠测试,测试制造商需要确保阳性结果表示该名妇女确实怀孕。人们可能会突然结婚或购买房屋来对正面测试做出反应(如果许多消费者因误报而无故遭受巨额成本,则测试制造商将缺少客户)。我曾经做过一次假阴性妊娠试验,这意味着我花了好几周才发现自己怀孕了……真相最终变得清晰起来。(双关语意)
现在想象一下一个呼叫中心的保险索赔。在欺诈者与合作者联系并在周末制作伪造的故事(“假设汽车被盗”)之后,大多数欺诈性索赔都会在周一致电。一家保险公司在星期一做的最好的事情是什么?也许他们应该调优以免召回而不是准确性。最好将更多的索赔标记为肯定的(可能是欺诈),以便进一步调查,而不是错过一些欺诈行为并支付本不应该支付的现金。可以通过指派经验丰富的调解员来消除误报(可能会进一步欺诈,但可能会造成客户损失的进一步审查),这可以通过指派经验丰富的调解人来解决,调解员可以坚持要求警方报告,要求制作安全录像带等。误报(接受骗子
F1很棒,但是了解如何使用测试/预测非常重要,因为总会有出错的风险……您想知道如果出错会带来多大的后果。
电子邮件垃圾邮件检测:这是一个示例,其中Precision比Recall更重要。
快速回顾:
精确度:这告诉您何时预测出积极的一面,实际上多少次是积极的。而,
回忆:从实际的积极数据中可以看出您正确预测了多少次。
上面已经说过,如果检测到垃圾邮件,那么如果未检测到垃圾邮件(阳性案例)并且不会进入垃圾邮件文件夹,则应该可以,但是,如果电子邮件质量良好(阴性),则一定不要垃圾邮件文件夹。即精度更重要。(如果模型预测为正面(例如垃圾邮件),最好是垃圾邮件。否则,您可能会错过重要的电子邮件)。
希望它能澄清。