ROC曲线相互交叉时两个模型的比较

用于比较两个或多个分类模型的一种常用方法是使用ROC曲线（AUC）下的面积作为间接评估其性能的一种方法。在这种情况下，通常将具有较大AUC的模型解释为比具有较小AUC的模型具有更好的性能。但是，根据Vihinen，2012年（https://www.ncbi.nlm.nih.gov/pmc/articles/PMC3303716/）所述，当两条曲线相互交叉时，这种比较不再有效。为什么会这样呢？

例如，根据ROC曲线和下面的AUC，可以确定模型A，模型B和模型C的方法是什么？

一个ROC曲线可视化TPR和FPR所有可能的阈值。

• 如果绘制两个ROC曲线“ A”和“ B”并且它们彼此不交叉，则您的一个分类器显然表现得更好，因为对于所有可能的FPR值，您都会获得更高的TPR。显然，中华民国之下的面积也将更大。

• 现在，如果它们确实彼此交叉，那么对于曲线'A'和'B'来说，FPR和TPR相同。您不再可以说一条ROC曲线的性能更好，因为它现在取决于您喜欢哪种折衷方案。您要高精度/低调用率还是低精度/高调用率？

示例：如果一个分类器在FPR为0.2时性能要好得多，但是重要的是要达到较高的Recall，那么它在您不感兴趣的阈值上会表现良好。

关于图形中的ROC曲线：您甚至可以在不知道要达到的目标的情况下轻松判断出“ A”的性能要好得多。紫罗兰色曲线一旦与其他曲线相交，便会再次与它们相交。您可能对这小部分不感兴趣，在该小部分中，“ B”和“ C”的性能要好一些。

在下图中，您将看到两条ROC曲线，它们也彼此交叉。在这里，您无法分辨哪个更好，因为它们可以互相补充。

请注意，归根结底，您有兴趣为分类选择一个阈值，而AUC仅使您估计模型的总体效果。