Questions tagged «auc»

上下搜索，无法找出与预测相关的AUC代表什么或表示什么。

228 classification  prediction  roc  auc  abbreviation 

我对手工计算二进制逻辑回归模型的曲线下面积（AUC）或c统计量感兴趣。 例如，在验证数据集中，我具有因变量的真实值（保留（1 =保留； 0 =不保留）），以及通过使用以下模型进行回归分析而生成的每个观察值的预测保留状态：使用训练集构建（范围从0到1）。 我最初的想法是确定模型分类的“正确”数目，然后将“正确”观察数除以总观察数即可计算出c统计量。通过“正确”，如果观察的真实保留状态= 1且预测的保留状态> 0.5，则为“正确”分类。另外，如果观察值的真实保留状态= 0并且预测的保留状态<0.5，则这也是“正确”的分类。我假设当预测值= 0.5时会出现“领带”，但在我的验证数据集中不会出现这种现象。另一方面，“不正确”分类将是观察的真实保留状态= 1且预测的保留状态<0。5或结果的真实保留状态= 0且预测的保留状态> 0.5。我知道TP，FP，FN，TN，但不知道在给定此信息的情况下如何计算c统计量。

78 regression  logistic  classification  roc  auc 

赤池信息准则（AIC）和c统计量（ROC曲线下的面积）是用于逻辑回归的模型拟合的两种度量。当两种方法的结果不一致时，我很难解释发生了什么。我猜他们正在衡量模型拟合的不同方面，但是这些具体方面是什么？ 我有3个逻辑回归模型。模型M0具有一些标准协变量。M1型将X1加到M0上；模型M2将X2添加到M0（因此M1和M2不嵌套）。 从M0到M1和M2的AIC差异约为15，这表明X1和X2均可提高模型拟合度，且幅度大致相同。 c统计量为：M0，0.70；M1，0.73；M2 0.72。从M0到M1的c统计量差异很大（DeLong等人，1988年的方法），但是从M0到M2的差异并不显着，表明X1改善了模型拟合，但X2没有。 X1不是常规收集的。X2应该定期收集，但在大约40％的情况下会丢失。我们要决定是开始收集X1，还是改善X2的收集，还是删除两个变量。 根据AIC，我们得出结论，变量对模型进行了类似的改进。与开始收集一个全新的变量（X1）相比，改进X2的收集可能更容易，因此我们将致力于改进X2的收集。但是从c统计量来看，X1改进了模型，而X2却没有改进，因此我们应该忘记X2并开始收集X1。 由于我们的建议取决于我们关注的统计数据，因此我们需要清楚地了解它们所测量的差异。 任何意见欢迎。

29 logistic  roc  aic  auc 

我有两个分类器 答：朴素的贝叶斯网络 B：树（单连接）贝叶斯网络 在准确性和其他度量方面，A的性能比B差。但是，当我使用R包ROCR和AUC进行ROC分析时，事实证明A的AUC高于B的AUC。这是为什么发生了什么？ 真阳性（tp），假阳性（fp），假阴性（fn），真阴性（tn），敏感性（sen），特异性（spec），阳性预测值（ppv），阴性预测值（npv）和A和B的精度（acc）如下。 +------+---------+---------+ | | A | B | +------+---------+---------+ | tp | 3601 | 769 | | fp | 0 | 0 | | fn | 6569 | 5918 | | tn | 15655 | 19138 | | sens | 0.35408 | 0.11500 | | spec …

29 machine-learning  classification  roc  auc  bayesian-network 

平均精度（AP）是精度调用曲线（PR曲线的AUC）下的面积吗？ 编辑： 这里有一些关于PR AUC和AP差异的评论。 AUC通过精度的梯形插值获得。另一种通常通常等效的指标是平均精度（AP），以info.ap返回。这是每次召回新的阳性样本时获得的精度平均值。如果精度是由常数段内插的，则它与AUC相同，并且是TREC最常使用的定义。 http://www.vlfeat.org/overview/plots-rank.html 此外，scikit-learn中的auc和average_precision_score结果不相同。这很奇怪，因为在文档中我们有： 根据预测分数计算平均精度（AP）该分数对应于精度调用曲线下的面积。 这是代码： # Compute Precision-Recall and plot curve precision, recall, thresholds = precision_recall_curve(y_test, clf.predict_proba(X_test)[:,1]) area = auc(recall, precision) print "Area Under PR Curve(AP): %0.2f" % area #should be same as AP? print 'AP', average_precision_score(y_test, y_pred, average='weighted') print 'AP', average_precision_score(y_test, y_pred, average='macro') print 'AP', …

27 scikit-learn  precision-recall  auc  average-precision 

在讨论中：如何为二进制分类生成roc曲线，我认为混淆是，“二进制分类器”（可以将2个类分开的任何分类器）对于Yang来说是所谓的“离散分类器”（产生离散输出0/1，例如SVM），而不是连续输出，例如ANN或贝叶斯分类器...等。因此，讨论的是如何为“二进制连续分类器”绘制ROC，答案是对输出进行排序因为输出是连续的，所以使用它们的分数，并使用阈值在ROC曲线上产生每个点。 我的问题是针对“二进制离散分类器”，例如SVM，输出值为0或1。因此，ROC仅生成一个点，而不生成曲线。我对为什么我们仍然称其为曲线感到困惑？！我们还能谈阈值吗？特别是如何在SVM中使用阈值？如何计算AUC？交叉验证在这里起什么作用？

25 cross-validation  roc  auc 

下图显示了假阳性率与真阳性率的连续曲线： 但是，我没有立即得到的是如何计算这些费率。如果将方法应用于数据集，则该方法具有一定的FP速率和一定的FN速率。这不是说每种方法都应该有一个点而不是一条曲线吗？当然，有多种方法可以配置一个方法，产生多个不同的点，但是我不清楚这种比率的连续性是如何产生的或如何产生的。

22 machine-learning  data-visualization  roc  auc 

前言 这是一个很长的帖子。如果您正在重新阅读本文档，请注意，尽管背景材料保持不变，但我已经修改了问题部分。此外，我相信我已经设计出解决该问题的方法。该解决方案显示在帖子的底部。感谢CliffAB指出我的原始解决方案（从该帖子中编辑；请参阅该解决方案的编辑历史）必定产生了偏差估计。 问题 在机器学习分类问题中，评估模型性能的一种方法是通过比较ROC曲线或ROC曲线下的面积（AUC）。但是，据我观察，对ROC曲线的可变性或AUC的估计很少进行讨论。也就是说，它们是根据数据估算的统计信息，因此存在一些与之相关的错误。表征这些估计中的误差将有助于表征，例如，一个分类器是否确实优于另一个分类器。 为了解决这个问题，我开发了以下方法（称为ROC曲线的贝叶斯分析）。我对这个问题的思考有两个主要观察结果： ROC曲线由来自数据的估计数量组成，并且适合贝叶斯分析。 ROC曲线是通过将真实的阳性率对于假阳性率绘制而成的，每个假性率本身都是根据数据估算的。我考虑和函数，用于从B对A类进行排序的决策阈值（随机森林中的树票，SVM中距超平面的距离，逻辑回归中的预测概率等）。改变决策阈值值将返回和不同估计值。此外，我们可以考虑˚F P - [R （θ ）Ť P ř ˚F P - [R θ θ Ť P ř ˚F P ř Ť P - [R （θ ）Ť PŤPR （θ ）TPR(θ)TPR(\theta)FPR （θ ）FPR(θ)FPR(\theta)ŤP[RTPRTPRFP[RFPRFPRθθ\thetaθθ\thetaŤP[RTPRTPRFP[RFPRFPRŤPR （θ ）TPR(θ)TPR(\theta)在一系列的伯努利试验中估计成功的可能性。实际上，TPR定义为它也是成功且总试验中二项式成功概率的MLE 。TPTP+FN>0ŤPŤP+ Fñ，TPTP+FN,\frac{TP}{TP+FN},ŤPTPTPŤP+ Fñ> 0TP+FN>0TP+FN>0 因此，通过将和的输出视为随机变量，我们面临着一个估计二项式实验成功概率的问题，在该二项式实验中，成功和失败的数目是确切已知的（给定通过，，和，我假设都是固定的）。按照惯例，仅使用MLE，并假设TPR和FPR对于特定值是固定的˚F P - [R （θ ）Ť P …

21 machine-learning  bayesian  sampling  roc  auc 

我正在使用一个返回概率的分类器。为了计算AUC，我使用了pROC R-package。分类器的输出概率为： probs=c(0.9865780, 0.9996340, 0.9516880, 0.9337157, 0.9778576, 0.8140116, 0.8971550, 0.8967585, 0.6322902, 0.7497237) probs显示出现“ 1”级的可能性。如图所示，分类器已将所有样本分类为“ 1”类。 真实标签向量为： truel=c(1, 1, 1, 1, 1, 0, 0, 0, 0, 0) 如图所示，分类器对5个样本进行了错误分类。但是，AUC是： pROC::auc(truel, probs) Area under the curve: 1 你能告诉我为什么会发生吗？

20 machine-learning  auc 

我对使用哪种性能指标，ROC曲线下的面积（TPR与FPR的函数）或精确召回曲线下的面积（精度与召回的函数）之间的使用存在疑问。 我的数据不平衡，即，否定实例的数量比肯定实例大得多。 我正在使用weka的输出预测，示例是： inst#,actual,predicted,prediction 1,2:0,2:0,0.873 2,2:0,2:0,0.972 3,2:0,2:0,0.97 4,2:0,2:0,0.97 5,2:0,2:0,0.97 6,2:0,2:0,0.896 7,2:0,2:0,0.973 我正在使用pROC和ROCR r库。

16 r  machine-learning  roc  precision-recall  auc 

我为诊断系统构建了ROC曲线。然后非参数地将曲线下的面积估计为AUC = 0.89。当我尝试在最佳阈值设置（最接近点（0，1）的点）上计算精度时，诊断系统的精度为0.8，小于AUC！当我在另一个阈值设置（与最佳阈值相差很远）下检查精度时，我得到的精度等于0.92。是否可以使诊断系统在最佳阈值设置下的准确度低于另一个阈值的准确度，并且也低于曲线下的面积？请参阅所附图片。

16 roc  reliability  accuracy  auc 

AUC-ROC值可以在0-0.5之间吗？该模型是否输出0到0.5之间的值？

16 roc  model-evaluation  auc 

我正在通过caretR中的程序包尝试使用梯度增强机算法。 使用一个小的大学录取数据集，我运行了以下代码： library(caret) ### Load admissions dataset. ### mydata <- read.csv("http://www.ats.ucla.edu/stat/data/binary.csv") ### Create yes/no levels for admission. ### mydata$admit_factor[mydata$admit==0] <- "no" mydata$admit_factor[mydata$admit==1] <- "yes" ### Gradient boosting machine algorithm. ### set.seed(123) fitControl <- trainControl(method = 'cv', number = 5, summaryFunction=defaultSummary) grid <- expand.grid(n.trees = seq(5000,1000000,5000), interaction.depth = 2, shrinkage = …

15 machine-learning  caret  boosting  gbm  hypothesis-testing  t-test  panel-data  psychometrics  intraclass-correlation  generalized-linear-model  categorical-data  binomial  model  intercept  causality  cross-correlation  distributions  ranks  p-value  z-test  sign-test  time-series  references  terminology  cross-correlation  definition  probability  distributions  beta-distribution  inverse-gamma  missing-data  paired-comparisons  paired-data  clustered-standard-errors  cluster-sample  time-series  arima  logistic  binary-data  odds-ratio  medicine  hypothesis-testing  wilcoxon-mann-whitney  unsupervised-learning  hierarchical-clustering  neural-networks  train  clustering  k-means  regression  ordinal-data  change-scores  machine-learning  experiment-design  roc  precision-recall  auc  stata  multilevel-analysis  regression  fitting  nonlinear  jmp  r  data-visualization  gam  gamm4  r  lme4-nlme  many-categories  regression  causality  instrumental-variables  endogeneity  controlling-for-a-variable 

我正在尝试在R中使用' density '函数进行内核密度估计。我有一些困难，解释结果和比较不同的数据集，因为它似乎在曲线下面积不一定1.对于任何概率密度函数（PDF） ，我们需要有区域∫ ∞ - ∞ φ （x ）d x = 1。我假设内核密度估计报告pdf。我使用integrate.xy从sfsmisc估计曲线下面积。ϕ(x)ϕ(x)\phi(x)∫∞−∞ϕ(x)dx=1∫−∞∞ϕ(x)dx=1\int_{-\infty}^\infty \phi(x) dx = 1 > # generate some data > xx<-rnorm(10000) > # get density > xy <- density(xx) > # plot it > plot(xy) > # load the library > library(sfsmisc) > integrate.xy(xy$x,xy$y) [1] 1.000978 > …

15 r  estimation  pdf  kernel-smoothing  auc 

我已经训练了两个模型（使用h2o AutoML的二进制分类器），我想选择一个模型。我得到以下结果： model_id auc logloss logloss_train logloss_valid gini_train gini_valid DL_grid_1 0.542694 0.287469 0.092717 0.211956 0.872932 0.312975 DL_grid_2 0.543685 0.251431 0.082616 0.186196 0.900955 0.312662 的auc和logloss列是交叉验证指标（交叉验证仅使用训练数据）。在..._train和..._valid指标分别由通过模型运行训练和验证指标发现。我想使用logloss_valid或gini_valid选择最佳模型。 模型1具有更好的基尼系数（即更好的AUC），而模型2具有更好的对数损失。我的问题是选择哪一个我认为是问题，使用基尼（AUC）或对数损失作为决策指标的优点/缺点是什么？

15 model-selection  validation  auc  gini  log-loss