了解ROC曲线

我在理解ROC曲线时遇到问题。

如果我从训练集的每个唯一子集构建不同的模型并使用它来产生概率，ROC曲线下的面积是否有任何优势/改善？例如，如果具有值{ 一个，一，一，一，b ，b ，b ，b }，和我建立模型阿通过使用一个从第一-第四值ÿ的和8-9值ÿ和构建使用剩余火车数据的模型B。最后，产生概率。任何想法/意见将不胜感激。$y$$\{a, a, a, a, b, b, b, b\}$$A$$a$$y$$y$$B$

这是用于我的问题的更好解释的r代码：

Y    = factor(0,0,0,0,1,1,1,1)
X    = matirx(rnorm(16,8,2))
ind  = c(1,4,8,9)
ind2 = -ind

mod_A    = rpart(Y[ind]~X[ind,])
mod_B    = rpart(Y[-ind]~X[-ind,])
mod_full = rpart(Y~X)

pred = numeric(8)
pred_combine[ind]  = predict(mod_A,type='prob')
pred_combine[-ind] = predict(mod_B,type='prob')
pred_full          = predict(mod_full, type='prob')

所以我的问题是，的ROC曲线下面积pred_combineVS pred_full。

我不确定是否有问题，但是由于标题要求解释ROC曲线，因此我将尝试。

ROC曲线用于查看分类器将正例和负例分开的程度，并确定将其分开的最佳阈值。

为了能够使用ROC曲线，您的分类器必须进行排名 -也就是说，它应该能够对示例进行排名，以使排名较高的示例更有可能是正面的。例如，逻辑回归输出概率，这是可用于排名的分数。

绘制ROC曲线

给定数据集和排名分类器：

• 按分数从高到低的顺序排列测试示例
• $(0, 0)$
• $x$
  • $x$$1/\text{pos}$
  • $x$$1/\text{neg}$

$\text{pos}$$\text{neg}$

这张精美的gif动画图片应更清楚地说明此过程

$y$$x$

ROC下面积

ROC曲线下方的区域（阴影部分）自然显示了曲线与基线的距离。基线为0.5，完美分类器为1。

您可以在以下问题中了解有关AUC ROC的更多信息：AUC代表什么？它代表什么？

选择最佳阈值

我将简要概述选择最佳阈值的过程，有关更多详细信息，请参见参考资料。

要选择最佳阈值，您可以将ROC曲线的每个点视为一个单独的分类器。这个微型分类器使用得分得到的分数作为+和-之间的边界（即，将当前分数之上的所有分数归为+）。

根据我们数据集中的pos / neg分数-在50％/ 50％的情况下平行于基线，您可以构建ISO精度线，并选择精度最高的线。

这是一张图片，说明了这一点，有关详细信息，我再次邀请您参考

参考

• http://mlwiki.org/index.php/ROC_Analysis