Questions tagged «roc»

上下搜索，无法找出与预测相关的AUC代表什么或表示什么。

228 classification  prediction  roc  auc  abbreviation 

我了解它们之间的形式差异，我想知道的是何时使用一种相对于另一种更为相关。 他们是否总是提供有关给定分类/检测系统性能的补充见解？ 例如，何时在纸上同时提供它们？而不只是一个？ 是否有其他替代（可能更现代）的描述符捕获分类系统的ROC和精确召回的相关方面？ 我对二进制和多类（例如一对一）案例的参数都感兴趣。

159 machine-learning  roc  precision-recall 

我对手工计算二进制逻辑回归模型的曲线下面积（AUC）或c统计量感兴趣。 例如，在验证数据集中，我具有因变量的真实值（保留（1 =保留； 0 =不保留）），以及通过使用以下模型进行回归分析而生成的每个观察值的预测保留状态：使用训练集构建（范围从0到1）。 我最初的想法是确定模型分类的“正确”数目，然后将“正确”观察数除以总观察数即可计算出c统计量。通过“正确”，如果观察的真实保留状态= 1且预测的保留状态> 0.5，则为“正确”分类。另外，如果观察值的真实保留状态= 0并且预测的保留状态<0.5，则这也是“正确”的分类。我假设当预测值= 0.5时会出现“领带”，但在我的验证数据集中不会出现这种现象。另一方面，“不正确”分类将是观察的真实保留状态= 1且预测的保留状态<0。5或结果的真实保留状态= 0且预测的保留状态> 0.5。我知道TP，FP，FN，TN，但不知道在给定此信息的情况下如何计算c统计量。

78 regression  logistic  classification  roc  auc 

换句话说，我没有遇到两类问题，而是要处理四类，并且仍然想使用AUC来评估性能。

66 classification  roc 

我在理解ROC曲线时遇到问题。 如果我从训练集的每个唯一子集构建不同的模型并使用它来产生概率，ROC曲线下的面积是否有任何优势/改善？例如，如果具有值{ 一个，一，一，一，b ，b ，b ，b }，和我建立模型阿通过使用一个从第一-第四值ÿ的和8-9值ÿ和构建使用剩余火车数据的模型B。最后，产生概率。任何想法/意见将不胜感激。yyy{a,a,a,a,b,b,b,b}{a,a,a,a,b,b,b,b}\{a, a, a, a, b, b, b, b\}AAAaaayyyyyyBBB 这是用于我的问题的更好解释的r代码： Y = factor(0,0,0,0,1,1,1,1) X = matirx(rnorm(16,8,2)) ind = c(1,4,8,9) ind2 = -ind mod_A = rpart(Y[ind]~X[ind,]) mod_B = rpart(Y[-ind]~X[-ind,]) mod_full = rpart(Y~X) pred = numeric(8) pred_combine[ind] = predict(mod_A,type='prob') pred_combine[-ind] = predict(mod_B,type='prob') pred_full = predict(mod_full, type='prob') 所以我的问题是，的ROC曲线下面积pred_combineVS …

57 r  roc 

我有一项测试数据，可用于区分正常细胞和肿瘤细胞。根据ROC曲线，此目的看起来不错（曲线下的面积为0.9）： 我的问题是： 如何确定该测试的临界点及其置信区间，在该区间应该将读数判断为不明确？ 可视化此最佳方法（使用ggplot2）是什么？ 图是使用ROCR和ggplot2包呈现的： #install.packages("ggplot2","ROCR","verification") #if not installed yet library("ggplot2") library("ROCR") library("verification") d <-read.csv2("data.csv", sep=";") pred <- with(d,prediction(x,test)) perf <- performance(pred,"tpr", "fpr") auc <-performance(pred, measure = "auc")@y.values[[1]] rd <- data.frame(x=perf@x.values[[1]],y=perf@y.values[[1]]) p <- ggplot(rd,aes(x=x,y=y)) + geom_path(size=1) p <- p + geom_segment(aes(x=0,y=0,xend=1,yend=1),colour="black",linetype= 2) p <- p + geom_text(aes(x=1, y= 0, hjust=1, …

51 r  data-visualization  confidence-interval  roc  ggplot2 

我有一个分类任务，其中有许多预测变量（其中一个是最有参考价值的），并且我正在使用MARS模型来构造我的分类器（我对任何简单的模型都感兴趣，并且使用glms进行说明是没关系）。现在，我在训练数据中存在巨大的班级失衡（每个正样本大约有2700个负样本）。与信息检索任务类似，我更关心预测排名最高的阳性测试样本。因此，Precision Recall曲线上的性能对我很重要。 首先，我只是在训练数据上训练了模型，从而保持了班级的不平衡。我将训练有素的模型显示为红色，最重要的输入显示为蓝色。 培训不平衡数据，评估不平衡数据： 认为班级失衡会导致模型失败，因为学习排名最高的正样本是整个数据集的很小一部分，所以我对正训练点进行了升采样以获得平衡的训练数据集。当我在平衡训练集上绘制性能时，我会获得良好的性能。在PR和ROC曲线中，我训练有素的模型都比输入要好。 训练（上采样的）平衡数据，还评估（上采样的）平衡数据： 但是，如果我使用在平衡数据上训练的模型来预测原始的不平衡训练集，则PR曲线上的性能仍然很差。 培训（上采样的）平衡数据，评估原始不平衡数据： 所以我的问题是： 是由于PR曲线的可视化显示我训练的模型（红色）的性能较差，而ROC曲线却由于类的不平衡而导致性能改善的原因吗？ 重采样/上采样/下采样方法能否解决此问题，从而迫使训练集中于高精度/低召回率区域？ 还有其他方法可以将培训集中在高精度/低召回率区域吗？

30 machine-learning  roc  precision-recall  unbalanced-classes  data-visualization 

关于ROC的曲线下面积（AUC）和整体精度，我有些困惑。 AUC是否与整体精度成正比？换句话说，当我们具有更高的整体精度时，我们肯定会获得更大的AUC吗？还是按照定义它们是正相关的？ 如果它们是正相关的，为什么我们还要在某些出版物中同时报告它们呢？ 在实际情况下，我执行了一些分类任务，结果如下：分类器A的准确度为85％，AUC为0.98，分类器B的准确度为93％，AUC为0.92。问题是，哪个分类器更好？还是有可能获得类似的结果（我的意思是说我的实现中可能存在错误）？

29 classification  roc 

赤池信息准则（AIC）和c统计量（ROC曲线下的面积）是用于逻辑回归的模型拟合的两种度量。当两种方法的结果不一致时，我很难解释发生了什么。我猜他们正在衡量模型拟合的不同方面，但是这些具体方面是什么？ 我有3个逻辑回归模型。模型M0具有一些标准协变量。M1型将X1加到M0上；模型M2将X2添加到M0（因此M1和M2不嵌套）。 从M0到M1和M2的AIC差异约为15，这表明X1和X2均可提高模型拟合度，且幅度大致相同。 c统计量为：M0，0.70；M1，0.73；M2 0.72。从M0到M1的c统计量差异很大（DeLong等人，1988年的方法），但是从M0到M2的差异并不显着，表明X1改善了模型拟合，但X2没有。 X1不是常规收集的。X2应该定期收集，但在大约40％的情况下会丢失。我们要决定是开始收集X1，还是改善X2的收集，还是删除两个变量。 根据AIC，我们得出结论，变量对模型进行了类似的改进。与开始收集一个全新的变量（X1）相比，改进X2的收集可能更容易，因此我们将致力于改进X2的收集。但是从c统计量来看，X1改进了模型，而X2却没有改进，因此我们应该忘记X2并开始收集X1。 由于我们的建议取决于我们关注的统计数据，因此我们需要清楚地了解它们所测量的差异。 任何意见欢迎。

29 logistic  roc  aic  auc 

我有两个分类器 答：朴素的贝叶斯网络 B：树（单连接）贝叶斯网络 在准确性和其他度量方面，A的性能比B差。但是，当我使用R包ROCR和AUC进行ROC分析时，事实证明A的AUC高于B的AUC。这是为什么发生了什么？ 真阳性（tp），假阳性（fp），假阴性（fn），真阴性（tn），敏感性（sen），特异性（spec），阳性预测值（ppv），阴性预测值（npv）和A和B的精度（acc）如下。 +------+---------+---------+ | | A | B | +------+---------+---------+ | tp | 3601 | 769 | | fp | 0 | 0 | | fn | 6569 | 5918 | | tn | 15655 | 19138 | | sens | 0.35408 | 0.11500 | | spec …

29 machine-learning  classification  roc  auc  bayesian-network 

我最近完成了一场Kaggle比赛，根据比赛要求使用了roc auc得分。在进行此项目之前，我通常使用f1分数作为衡量模型性能的指标。展望未来，我想知道如何在这两个指标之间进行选择？什么时候使用，它们各自的优缺点是什么？ 顺便说一句，我在这里阅读了这篇文章AUC和F1评分之间有什么区别？，但没有告诉我何时使用。 在此先感谢您的帮助！

26 machine-learning  modeling  roc  scoring-rules 

在讨论中：如何为二进制分类生成roc曲线，我认为混淆是，“二进制分类器”（可以将2个类分开的任何分类器）对于Yang来说是所谓的“离散分类器”（产生离散输出0/1，例如SVM），而不是连续输出，例如ANN或贝叶斯分类器...等。因此，讨论的是如何为“二进制连续分类器”绘制ROC，答案是对输出进行排序因为输出是连续的，所以使用它们的分数，并使用阈值在ROC曲线上产生每个点。 我的问题是针对“二进制离散分类器”，例如SVM，输出值为0或1。因此，ROC仅生成一个点，而不生成曲线。我对为什么我们仍然称其为曲线感到困惑？！我们还能谈阈值吗？特别是如何在SVM中使用阈值？如何计算AUC？交叉验证在这里起什么作用？

25 cross-validation  roc  auc 

我有价值观True Positive (TP)和False Negative (FN)如下： TP = 0.25 FN = 0.75 根据这些值，我们可以计算False Positive (FP)和True Negative (TN)吗？

24 roc  confusion-matrix  sensitivity-specificity 

下图显示了假阳性率与真阳性率的连续曲线： 但是，我没有立即得到的是如何计算这些费率。如果将方法应用于数据集，则该方法具有一定的FP速率和一定的FN速率。这不是说每种方法都应该有一个点而不是一条曲线吗？当然，有多种方法可以配置一个方法，产生多个不同的点，但是我不清楚这种比率的连续性是如何产生的或如何产生的。

22 machine-learning  data-visualization  roc  auc 

前言 这是一个很长的帖子。如果您正在重新阅读本文档，请注意，尽管背景材料保持不变，但我已经修改了问题部分。此外，我相信我已经设计出解决该问题的方法。该解决方案显示在帖子的底部。感谢CliffAB指出我的原始解决方案（从该帖子中编辑；请参阅该解决方案的编辑历史）必定产生了偏差估计。 问题 在机器学习分类问题中，评估模型性能的一种方法是通过比较ROC曲线或ROC曲线下的面积（AUC）。但是，据我观察，对ROC曲线的可变性或AUC的估计很少进行讨论。也就是说，它们是根据数据估算的统计信息，因此存在一些与之相关的错误。表征这些估计中的误差将有助于表征，例如，一个分类器是否确实优于另一个分类器。 为了解决这个问题，我开发了以下方法（称为ROC曲线的贝叶斯分析）。我对这个问题的思考有两个主要观察结果： ROC曲线由来自数据的估计数量组成，并且适合贝叶斯分析。 ROC曲线是通过将真实的阳性率对于假阳性率绘制而成的，每个假性率本身都是根据数据估算的。我考虑和函数，用于从B对A类进行排序的决策阈值（随机森林中的树票，SVM中距超平面的距离，逻辑回归中的预测概率等）。改变决策阈值值将返回和不同估计值。此外，我们可以考虑˚F P - [R （θ ）Ť P ř ˚F P - [R θ θ Ť P ř ˚F P ř Ť P - [R （θ ）Ť PŤPR （θ ）TPR(θ)TPR(\theta)FPR （θ ）FPR(θ)FPR(\theta)ŤP[RTPRTPRFP[RFPRFPRθθ\thetaθθ\thetaŤP[RTPRTPRFP[RFPRFPRŤPR （θ ）TPR(θ)TPR(\theta)在一系列的伯努利试验中估计成功的可能性。实际上，TPR定义为它也是成功且总试验中二项式成功概率的MLE 。TPTP+FN>0ŤPŤP+ Fñ，TPTP+FN,\frac{TP}{TP+FN},ŤPTPTPŤP+ Fñ> 0TP+FN>0TP+FN>0 因此，通过将和的输出视为随机变量，我们面临着一个估计二项式实验成功概率的问题，在该二项式实验中，成功和失败的数目是确切已知的（给定通过，，和，我假设都是固定的）。按照惯例，仅使用MLE，并假设TPR和FPR对于特定值是固定的˚F P - [R （θ ）Ť P …

21 machine-learning  bayesian  sampling  roc  auc