ROC曲线告诉您什么是传统推论不会？

您何时倾向于在其他测试中使用ROC曲线来确定某些测量结果的预测能力？

当处理离散结果（活动/死点，存在/不存在）时，是什么使ROC曲线比卡方曲线更有力或更弱？

ROC函数（不一定是曲线）使您可以评估特定统计模型（包括预测变量或一组预测变量）提供的区分能力。

ROC的主要考虑因素是模型预测不仅基于模型根据预测变量提供的证据来区分/做出预测的能力。响应标准也起作用，该响应标准定义了模型预测响应所需的证据量以及这些响应的结果是什么。为响应标准确定的值将极大地影响模型的预测，并最终影响模型将犯的错误的类型。

考虑具有预测变量和响应标准的通用模型。该模型通过响应“是”或“否”来尝试预测X的存在。因此，您具有以下混淆矩阵：

                                **X present               X absent**
 **Model Predicts X Present**       Hit                   False Alarm

 **Model Predicts X Absent**      Miss                 Correct Rejection

在此矩阵中，您只需要考虑“命中率”和“虚假警报”的比例（因为其他警报和虚警的比例必须为1到3）。对于每个响应标准，您将拥有不同的混淆矩阵。错误（丢失和错误警报）是负相关的，这意味着最小化错误警报的响应标准会最大化未命中，反之亦然。信息是：没有免费的午餐。

因此，为了了解模型区分案例/做出预测的能力如何，而与所建立的响应标准无关，可以对可能的响应标准范围内的命中率和错误率进行绘图。

您从该图中得到的是ROC函数。函数下的区域提供了模型区分能力的无偏，非参数度量。这项措施非常重要，因为它没有响应标准可能产生的任何混淆。

第二个重要方面是，通过分析功能，可以定义哪种响应标准更适合您的目标。您想避免什么类型的错误，什么是错误就可以了。例如，考虑进行HIV测试：该测试可以查找某种证据（在这种情况下为抗体），并根据证据与反应标准的比较做出区分/预测。通常将此响应条件设置得很低，以使未命中率降至最低。当然，这将导致更多的虚假警报，其成本较高，但与未命中相比，成本可以忽略不计。

使用ROC，您可以独立于响应标准而评估某些模型的判别能力，并且可以根据所测量的需求和约束来建立最佳响应标准。像hi-square这样的测试根本无法提供任何帮助，因为即使您的测试中预测是否处于机会级别，许多不同的误报警报对也都与机会级别一致。

一些框架（例如信号检测理论）先验地认为，可用于区分的证据具有特定的分布（例如，正态分布或伽马分布）。当这些假设成立（或接近）时，可以使用一些非常好的方法来使您的生活更轻松。

希望这有助于您阐明ROC的优势

当预测变量是连续的且结果是离散的时，将使用ROC曲线，因此卡方检验将不适用。实际上，ROC分析在某种意义上等同于Mann-Whitney检验：曲线下的面积为P（X> Y），这是通过MW检验所检验的量。但是，Mann-Whitney分析并不强调选择临界值，而这是ROC分析的重点。此外，ROC曲线通常仅用作协变量预测能力的可视化显示。

最简单的答案是，传统的信号检测测试只能在ROC（接收机工作特性）上给您一个点，而曲线则允许您通过一系列值查看响应。准则和d'可能会在整个曲线中移动一个。这就像通过选择两类预测变量生成的t检验与通过查看每个预测变量的参数操作生成的两条回归线之间的差异一样。

如果您对更多参考资料感兴趣，可以在KH Zou的网站“ 接收器工作特性（ROC）文献研究”中找到大量论文。

当人们有兴趣比较不同分类器的性能时，也可以使用ROC曲线，并将其广泛应用于生物医学研究和生物信息学中。

ROC在许多方面都偏离了模型的主要推论和估计工具。我在那里看不到太多价值。