什么是精确召回曲线的良好AUC?


11

因为我的数据集非常不平衡(9%的积极结果),所以我决定精确召回曲线比ROC曲线更合适。我获得了PR曲线下面积的类似汇总度量值(如果您有兴趣,则为.49),但是不确定如何解释它。我听说.8或以上才是ROC的一个好AUC,但是对于精确召回曲线而言,AUC的一般截止点会是一样的吗?

Answers:


12

没有神奇的截止对于任何AUC-ROC或AUC-PR。越高显然越好,但这完全取决于应用程序。

例如,如果您可以成功地识别AUC为0.8的有利可图的投资,或者就此而言,任何与偶然性区分开的东西,我都会印象深刻,您会变得非常富有。另一方面,使用0.95的AUC对手写数字进行分类仍然大大低于当前的技术水平。

此外,尽管保证了最佳的AUC-ROC处于[0,1],但对于精确调用曲线而言却并非如此,因为PR空间可能存在“无法到达”的区域,具体取决于类分布的倾斜程度。(有关详细信息,请参见Boyd等人(2012)的这篇论文)。


我还以为我们还有AUC无法到达的部分。但是可能是错误的。
查尔斯

4
我链接的论文说:“两种类型的曲线之间的一个相关但以前无法识别的区别是,尽管可以实现ROC空间中的任何点,但并不是可以实现PR空间中的每个点。” 在第2页的顶部。我认为这是因为您必须对收集中的所有文档进行P / R排名,因此即使是最悲观的系统也最终会检索到相关的项目。对于ROC,您可以将所有积极的例子称为“-”,将所有消极的例子称为“ +”,这将为您提供100%的错误肯定率/ 100%的错误否定率。
Matt Krause 2014年

谢谢!在发表评论之前,我应该先看一下论文。
查尔斯

我同意没有魔数。但是,绝对有必要理解,例如0.95 AUC-ROC意味着您已基本解决了问题并拥有非常非常好的分类器。严格来说,0.6的AUC可以找到有利可图的投资,可能比随机的要好,但并没有更好。就是说,正如您提到的那样,它仍然可以与机会区分开,并且很可能会为您提供一个不错的策略。
shiri

0

.49不太好,但其解释与ROC AUC不同。对于ROC AUC,如果您使用logistic回归模型获得了0.49,我想说您做的并不比随机做的好。对于.49 PR AUC,它可能还不错。我会考虑查看个人的精确度和召回率,也许其中之一是导致您的PR AUC下降的原因。回忆会告诉您您实际上猜测正确的那9%的积极程度中有多少。精确度会告诉您您有多少猜测是肯定的。(误报)。50%的召回率是不好的,这意味着您不会猜到很多不平衡的类,但也许50%的准确率也不错。取决于您的情况。


0

在您的情况下,随机估计量的PR-AUC为0.09(阳性结果的9%),因此0.49肯定是一个实质性的增长。

如果这是一个好的结果,则只能与其他算法进行比较评估,但是您没有提供所使用方法/数据的详细信息。

此外,您可能需要评估PR曲线的形状。理想的PR曲线从左上角水平到右上角,然后一直向下到右下角,从而PR-AUC为1。在某些应用中,PR曲线在开始时显示出强烈的尖峰,然后迅速再次下降到“随机估算器线”(您的情况下为0.09精度的水平线)附近。这将表明可以很好地检测到“强”的积极结果,但是对于不太清楚的候选人却表现不佳。

如果要为算法的截止参数找到合适的阈值,则可以考虑PR曲线上最接近右上角的点。甚至更好,如果可能,请考虑交叉验证。您可能会为特定的截止参数获得精度和调用率值,这些值对您的应用程序比PR-AUC的值更有趣。比较不同算法时,AUC最有趣。

By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.