Answers:
有没有神奇的截止对于任何AUC-ROC或AUC-PR。越高显然越好,但这完全取决于应用程序。
例如,如果您可以成功地识别AUC为0.8的有利可图的投资,或者就此而言,任何与偶然性区分开的东西,我都会印象深刻,您会变得非常富有。另一方面,使用0.95的AUC对手写数字进行分类仍然大大低于当前的技术水平。
此外,尽管保证了最佳的AUC-ROC处于[0,1],但对于精确调用曲线而言却并非如此,因为PR空间可能存在“无法到达”的区域,具体取决于类分布的倾斜程度。(有关详细信息,请参见Boyd等人(2012)的这篇论文)。
在您的情况下,随机估计量的PR-AUC为0.09(阳性结果的9%),因此0.49肯定是一个实质性的增长。
如果这是一个好的结果,则只能与其他算法进行比较评估,但是您没有提供所使用方法/数据的详细信息。
此外,您可能需要评估PR曲线的形状。理想的PR曲线从左上角水平到右上角,然后一直向下到右下角,从而PR-AUC为1。在某些应用中,PR曲线在开始时显示出强烈的尖峰,然后迅速再次下降到“随机估算器线”(您的情况下为0.09精度的水平线)附近。这将表明可以很好地检测到“强”的积极结果,但是对于不太清楚的候选人却表现不佳。
如果要为算法的截止参数找到合适的阈值,则可以考虑PR曲线上最接近右上角的点。甚至更好,如果可能,请考虑交叉验证。您可能会为特定的截止参数获得精度和调用率值,这些值对您的应用程序比PR-AUC的值更有趣。比较不同算法时,AUC最有趣。