您如何生成ROC曲线以进行留一法交叉验证？

例如，当执行5倍交叉验证时，通常针对5倍的每一个都计算一条单独的ROC曲线，通常乘以带有std的平均ROC曲线。开发。显示为曲线厚度。

但是，对于LOO交叉验证，每个折叠中只有一个测试数据点，为该单个数据点计算ROC“曲线”似乎并不明智。

我一直在获取所有测试数据点（连同它们单独计算的p值）并将它们汇总到一个大集合中，以计算单个ROC曲线，但这在统计学上是洁行的吗？

当每个折叠中的数据点数为1时（如LOO交叉验证的情况），采用ROC分析的正确方法是什么？

如果分类器输出概率，则将单个ROC曲线的所有测试点输出组合在一起是合适的。如果不是，则以使分类器的输出在各个分类器之间可直接比较的方式来缩放其输出。例如，假设您正在使用线性判别分析。训练分类器，然后将训练数据通过分类器。学习两个权重：比例参数$\sigma$ （减去分类平均值后，分类器输出的标准偏差）和一个shift参数 $\mu$（头等舱的平均值）。使用这些参数将原始数据标准化$r$ 每个LDA分类器的输出通过 $n = (r-\mu)/\sigma$，然后可以从标准化输出集中创建ROC曲线。需要警告的是，您估计更多的参数，因此与基于单独的测试集构建ROC曲线相比，结果可能会略有偏差。

如果无法归一化分类器输出或将其转换为概率，则基于LOO-CV的ROC分析是不合适的。