Questions tagged «roc»

为什么ROC曲线下的面积使分类器（从检索到的预测中）对随机选择的“正”实例进行排序的概率高于（从原始正分类中）随机选择的“正”实例的概率？如何用积分从数学上证明这一说法，使CDF和PDF具有真实的正负类分布？

14 probability  roc  auc 

通常在逻辑回归中，我们拟合模型并获得训练集上的一些预测。然后，我们对这些训练预测进行交叉验证（类似于此处），并根据ROC曲线确定最佳阈值。 我们为什么不将阈值的交叉验证整合到实际模型中，并端到端地训练整个过程？

13 logistic  cross-validation  optimization  roc  threshold 

用于比较两个或多个分类模型的一种常用方法是使用ROC曲线（AUC）下的面积作为间接评估其性能的一种方法。在这种情况下，通常将具有较大AUC的模型解释为比具有较小AUC的模型具有更好的性能。但是，根据Vihinen，2012年（https://www.ncbi.nlm.nih.gov/pmc/articles/PMC3303716/）所述，当两条曲线相互交叉时，这种比较不再有效。为什么会这样呢？ 例如，根据ROC曲线和下面的AUC，可以确定模型A，模型B和模型C的方法是什么？

13 machine-learning  classification  roc  auc  model-evaluation 

我已经获得了train二进制响应的逻辑回归模型（通过），并且已经通过confusionMatrixin 获得了逻辑混淆矩阵caret。它给了我逻辑模型混淆矩阵，尽管我不确定要使用什么阈值来获取它。如何使用confusionMatrixin 获得特定阈值的混淆矩阵caret？

13 r  classification  roc  caret  confusion-matrix 

我一直在研究逻辑模型，但在评估结果时遇到了一些困难。我的模型是二项式logit。我的解释变量是：具有15个级别的分类变量，二分变量和2个连续变量。我的N大于8000。 我正在尝试为公司的投资决策建模。因变量是投资（是/否），这15个级别变量是经理报告的不同投资障碍。其余变量是销售，信用和已用容量的控件。 下面是我的结果，使用rmsR中的包。 Model Likelihood Discrimination Rank Discrim. Ratio Test Indexes Indexes Obs 8035 LR chi2 399.83 R2 0.067 C 0.632 1 5306 d.f. 17 g 0.544 Dxy 0.264 2 2729 Pr(> chi2) <0.0001 gr 1.723 gamma 0.266 max |deriv| 6e-09 gp 0.119 tau-a 0.118 Brier 0.213 Coef S.E. Wald …

13 r  logistic  goodness-of-fit  roc 

我们过去常常使用在计分卡建模的好坏百分比的帮助下创建的提升来创建GINI曲线。但是我研究过的ROC曲线是使用以特异性（1- True Negative）为x轴和灵敏度（true positive）为Y轴的Confusion矩阵创建的。 因此，GINI和ROC的结果相同，唯一的不同是后者也考虑了一致性和不一致值（TP，FP，FN，TN）。

13 roc  gini 

通常，我们无法为决策树等离散分类器绘制ROC曲线。我对吗？有什么方法可以绘制Dtree的ROC曲线吗？

13 roc  cart 

在机器学习中，我们可以使用ROC曲线下的面积（通常缩写为AUC或AUROC）来总结系统在两个类别之间的区分程度。在信号检测理论中，通常将（灵敏度指标）用于类似目的。两者是紧密相连的，如果满足某些假设，我相信它们彼此等效。d′d′d' 的的计算通常是基于假设正态分布的信号分布（见维基链接以上，例如）呈现。ROC曲线计算不做此假设：它适用于任何可输出可阈值的连续值决策标准的分类器。d′d′d' 维基百科说是相当于。如果两个假设都满足，这似乎是正确的。但是，如果假设不相同，那就不是普遍真理。d′d′d'2AUC−12AUC−12 \text{AUC} - 1 将假设的差异描述为“ AUC对基本分布做出的假设更少”是否公平？还是实际上与AUC一样广泛适用，但是使用人们倾向于使用假设正态分布的计算只是一种惯例？我错过的基本假设是否还有其他差异？d′d′d'd′d′d'

13 machine-learning  roc  auc  signal-detection  d-prime 

我遇到了体积相似度（https://en.wikipedia.org/wiki/S%C3%B8rensen%E2%80%93Dice_coefficient）和准确性（https://en.wikipedia.org/wiki/Accuracy_and_precision）的骰子系数）。 在我看来，这两种措施是相同的。有什么想法吗？

13 descriptive-statistics  roc  accuracy  precision-recall  auc 

我努力寻找一种方法来计算接收器操作员特征（ROC）下面积的p值。我有一个连续变量和诊断测试结果。我想看看AUROC是否具有统计意义。 我发现许多处理ROC曲线的软件包：pROC，ROCR，caTools，验证，Epi。但是，即使花了很多时间阅读文档和测试，我仍然找不到方法。我想我只是想念它。

12 r  p-value  roc 

我目前正在运行一个二进制分类器。当我绘制ROC曲线时，我在开始时得到了很好的提升，然后它改变了方向并越过对角线，然后当然又向上倾斜，使该曲线呈倾斜的S形。 对此有什么解释/解释？ 谢谢

12 roc 

您何时倾向于在其他测试中使用ROC曲线来确定某些测量结果的预测能力？ 当处理离散结果（活动/死点，存在/不存在）时，是什么使ROC曲线比卡方曲线更有力或更弱？

12 regression  roc 

我有100,000个观察值（9个虚拟指标变量），具有1000个正值。Logistic回归在这种情况下应该可以正常工作，但临界概率使我感到困惑。 在普通文献中，我们选择50％截止值来预测1和0。我无法执行此操作，因为我的模型给出的最大值约为1％。因此，阈值可以在0.007或附近。 我确实了解ROC曲线以及曲线下的面积如何帮助我在同一数据集的两个LR模型之间进行选择。但是，ROC并不能帮助我选择最佳截断概率，该概率可以用来对样本外数据进行模型测试。 我是否应该简单地使用最小化阈值的截止值misclassification rate？（http://www2.sas.com/proceedings/sugi31/210-31.pdf） 添加->对于如此低的事件发生率，我的错误分类率受到大量误报的影响。虽然总体宇宙的大小也很大，但总体上看来该比率很高，但是我的模型不应有那么多的误报（因为它是投资回报模型）。5/10系数很重要。

11 regression  logistic  classification  generalized-linear-model  roc 

我想比较2个不同的分类器，以解决使用大型训练数据集的多类文本分类问题。我怀疑我应该使用ROC曲线还是学习曲线来比较这两个分类器。 一方面，学习曲线对于确定训练数据集的大小很有用，因为您可以找到分类器停止学习（并可能降级）的数据集的大小。因此，在这种情况下，最好的分类器可能是精度最高，数据集大小最小的分类器。 另一方面，ROC曲线可让您在灵敏度/特异性之间找到适当权衡的点。在这种情况下，最好的分类器就是最接近左上角的分类器，它是所有FPR中最高的TPR。 我应该同时使用两种评估方法吗？学习曲线较好的方法的ROC曲线是否可能变差，反之亦然？

11 machine-learning  classification  roc  accuracy 

我在纸上阅读了此标题，但从未在其他地方看到过这种方式描述的AUC。这是真的？有没有证明或简单的方法可以看到这一点？ 图2显示了根据接收器工作特性曲线（AUC）下的面积表示的二分变量的预测精度，这相当于正确地将每个类别中的两个随机选择的用户正确分类的概率（例如，男性和女性） ）。 在我看来，这不是真的，因为对于AUC = 0.5，以上内容表明一个人有50％的概率连续两次正确预测一次硬币翻转，但实际上，您只有25％的机会正确预测连续两次硬币翻转的过程。至少，我就是这么想的。

11 classification  roc  auc