Questions tagged «roc»

这个问题是关于在存在相关量表的情况下，在多维筛查问卷中估算截止分数以预测二值终点的问题。 有人问我在设计可用于酗酒筛查的测量量表（人格特质）每个维度的临界值时，控制相关子分数的兴趣。也就是说，在这种特殊情况下，此人对调整外部协变量（预测变量）不感兴趣-这导致在经协变量调整的ROC曲线下产生（局部）面积（例如（1-2）），但实际上对其他分数没有影响来自同一份调查表，因为它们彼此相关（例如“冲动”与“寻求感觉”）。它构成了一个GLM，在左侧包含感兴趣的得分（我们寻求分值）和从同一份问卷中计算出的另一个得分，而在右侧则可能显示饮酒状态。 为了阐明（按@robin请求），假设我们有分数，例如（例如，焦虑，冲动，神经质，寻求感觉），并且我们想找到一个值（即“阳性案例”），否则为“负数”）。在设计此类临界值时，我们通常会针对其他风险因素（例如性别或年龄）进行调整（使用ROC曲线分析）。现在，由于已知SS与IMP相关联，因此如何在性别，年龄和寻求感觉（SS）上调整冲动（IMP）呢？换句话说，如果去除了年龄，性别和焦虑水平的影响，我们将获得IMP的临界值。x j t j x j > t jj = 4Ĵ=4j=4XĴXĴx_jŤĴŤĴt_jXĴ> 吨ĴXĴ>ŤĴx_j>t_j 除了说分界必须尽可能简单之外，我的回应是 关于协变量，我建议评估有无调整后的AUC，以查看预测性能是否提高。在这里，您的协变量仅仅是从同一度量工具定义的其他子评分，而我从未遇到过这种情况（通常，我会根据已知的风险因素进行调整，例如年龄或性别）。[...]此外，由于您对预后问题（即问卷的筛查功效）感兴趣，因此您可能还对估计阳性预测值（PPV，测试结果呈阳性并被正确分类的患者的概率）感兴趣您可以根据调查表上的子分数将主题分类为“阳性”或“阴性”。请注意， 您是否对这种特殊情况有更全面的了解，并在可能的情况下链接到相关论文？ 参考文献 Janes，H和Pepe，MS（2008）。在诊断，筛选或预后标志物研究中调整协变量：新环境中的旧观念。美国流行病学杂志 168（1）：89-97。 Janes，H和Pepe，MS（2008）。ROC分析中的调节协变量。华盛顿大学生物统计学工作论文系列，论文322。

20 epidemiology  roc 

有人可以向我解释回归分析和曲线拟合（线性和非线性）之间的实际差异，并举个例子吗？ 似乎两者都试图找到两个变量（因变量与独立变量）之间的关系，然后确定与所提出的模型相关的参数（或系数）。例如，如果我有一组数据，例如： Y = [1.000 1.000 1.000 0.961 0.884 0.000] X = [1.000 0.063 0.031 0.012 0.005 0.000] 有人可以建议这两个变量之间的相关公式吗？我很难理解这两种方法之间的区别。如果您希望用其他数据集来支持您的答案，那是可以的，因为那似乎很难适应（也许仅对我而言）。 上面的数据集代表接收器工作特性（ROC）曲线的和y轴，其中y是真实的阳性率（TPR），x是错误的阳性率（FPR）。xxxyyyyyyxxx 我正在尝试拟合曲线，或者根据我最初的问题（还不确定）进行回归分析，以估计任何特定FPR的TPR（反之亦然）。 首先，在两个自变量（TPR和FPR）之间找到这样的曲线拟合函数在科学上是否可以接受？ 第二，如果我知道实际否定案例和实际肯定案例的分布不正常，找到这样的函数在科学上是可以接受的吗？

17 regression  multiple-regression  fitting  roc  curve-fitting 

我刚刚阅读完此讨论。他们认为，在不平衡数据集上，PR AUC比ROC AUC更好。 例如，我们在测试数据集中有10个样本。9个样本为阳性，1个样本为阴性。我们有一个糟糕的模型，它预测一切都是积极的。因此，我们将得到一个度量，TP = 9，FP = 1，TN = 0，FN = 0。 然后，Precision = 0.9，Recall = 1.0。精度和召回率都很高，但是分类器很差。 另一方面，TPR ＝ TP /（TP + FN）＝ 1.0，FPR ＝ FP /（FP + TN）＝ 1.0。由于FPR很高，我们可以确定这不是一个很好的分类器。 显然，在不平衡数据集上，ROC优于PR。有人可以解释为什么PR更好吗？

17 machine-learning  model-selection  roc  unbalanced-classes  precision-recall 

正确的计分规则是“真实”模型最大化的规则，并且不允许“对冲”或对系统进行博弈（故意报告不同结果，因为该模型的真实信念是提高分数）。石棉分数是适当的，准确性（正确分类的比例）是不适当的，并且经常受到阻碍。有时我会看到AUC被称为半正确评分规则，这使其准确性不完全虚假，但不如适当规则敏感（例如，此处/stats//a/90705/53084）。 半正确评分规则是什么意思？它在某处定义吗？

16 classification  references  roc  measurement-error  scoring-rules 

我对使用哪种性能指标，ROC曲线下的面积（TPR与FPR的函数）或精确召回曲线下的面积（精度与召回的函数）之间的使用存在疑问。 我的数据不平衡，即，否定实例的数量比肯定实例大得多。 我正在使用weka的输出预测，示例是： inst#,actual,predicted,prediction 1,2:0,2:0,0.873 2,2:0,2:0,0.972 3,2:0,2:0,0.97 4,2:0,2:0,0.97 5,2:0,2:0,0.97 6,2:0,2:0,0.896 7,2:0,2:0,0.973 我正在使用pROC和ROCR r库。

16 r  machine-learning  roc  precision-recall  auc 

我为诊断系统构建了ROC曲线。然后非参数地将曲线下的面积估计为AUC = 0.89。当我尝试在最佳阈值设置（最接近点（0，1）的点）上计算精度时，诊断系统的精度为0.8，小于AUC！当我在另一个阈值设置（与最佳阈值相差很远）下检查精度时，我得到的精度等于0.92。是否可以使诊断系统在最佳阈值设置下的准确度低于另一个阈值的准确度，并且也低于曲线下的面积？请参阅所附图片。

16 roc  reliability  accuracy  auc 

AUC-ROC值可以在0-0.5之间吗？该模型是否输出0到0.5之间的值？

16 roc  model-evaluation  auc 

我正在通过caretR中的程序包尝试使用梯度增强机算法。 使用一个小的大学录取数据集，我运行了以下代码： library(caret) ### Load admissions dataset. ### mydata <- read.csv("http://www.ats.ucla.edu/stat/data/binary.csv") ### Create yes/no levels for admission. ### mydata$admit_factor[mydata$admit==0] <- "no" mydata$admit_factor[mydata$admit==1] <- "yes" ### Gradient boosting machine algorithm. ### set.seed(123) fitControl <- trainControl(method = 'cv', number = 5, summaryFunction=defaultSummary) grid <- expand.grid(n.trees = seq(5000,1000000,5000), interaction.depth = 2, shrinkage = …

15 machine-learning  caret  boosting  gbm  hypothesis-testing  t-test  panel-data  psychometrics  intraclass-correlation  generalized-linear-model  categorical-data  binomial  model  intercept  causality  cross-correlation  distributions  ranks  p-value  z-test  sign-test  time-series  references  terminology  cross-correlation  definition  probability  distributions  beta-distribution  inverse-gamma  missing-data  paired-comparisons  paired-data  clustered-standard-errors  cluster-sample  time-series  arima  logistic  binary-data  odds-ratio  medicine  hypothesis-testing  wilcoxon-mann-whitney  unsupervised-learning  hierarchical-clustering  neural-networks  train  clustering  k-means  regression  ordinal-data  change-scores  machine-learning  experiment-design  roc  precision-recall  auc  stata  multilevel-analysis  regression  fitting  nonlinear  jmp  r  data-visualization  gam  gamm4  r  lme4-nlme  many-categories  regression  causality  instrumental-variables  endogeneity  controlling-for-a-variable 

我正在学习机器学习课程，并且讲义幻灯片包含的信息与我推荐的书不符。 问题如下：存在三个分类器： 分类器A在较低的阈值范围内提供更好的性能， 分类器B在较高的阈值范围内提供更好的性能， 分类器C我们通过翻转p硬币并从两个分类器中进行选择来获得什么。 从ROC曲线上看，分类器C的性能如何？ 演讲幻灯片指出，只需翻转硬币，我们就可以得到分类器A和B的ROC曲线的神奇“ 凸包 ”。 我不明白这一点。仅仅通过掷硬币，我们如何获得信息？ 演讲幻灯片 这本书怎么说 推荐的书（《数据挖掘...》，作者：伊恩·H·威腾（Ian H. Witten），艾比·弗兰克（Eibe Frank）和马克·A。另一方面，）指出： 要看到这一点，请为方法A选择一个特定的概率临界值，分别给出真实的和错误的正比率tA和fA，为方法B选择另一个临界值，给出tB和fB。如果您以概率p和q随机使用这两种方案，其中p + q = 1，那么您将获得p的真假率。tA + q tB和p。fA + q fB。这表示位于连接点（tA，fA）和（tB，fB）的直线上的点，并且通过改变p和q可以找出这两个点之间的整条线。 以我的理解，这本书所说的是要真正获得信息并到达凸包，我们需要做的事情比简单地抛掷p硬币还要先进。 AFAIK，正确的方法（如书中所建议的）如下： 我们应该找到分类器A的最佳阈值Oa 我们应该找到分类器B的最佳阈值Ob 将C定义如下： 如果t <Oa，则将分类器A与t一起使用 如果t> Ob，则将分类器B与t一起使用 如果Oa <t <Ob，则用概率作为我们在Oa和Ob之间的线性组合，在带Oa的分类器A和带Ob的B之间进行选择。 它是否正确？如果是，则与幻灯片建议的内容有一些主要差异。 这不是简单的掷硬币，而是一种更高级的算法，该算法需要根据我们所处的区域手动定义点和拾取。 它永远不会使用阈值介于Oa和Ob之间的分类器A和B。 你能给我解释一下这个问题，什么是正确的理解方式，如果我的理解是不正确的？ 如果我们像幻灯片所示那样简单地翻转p硬币，将会发生什么？我认为我们会得到一个介于A和B之间的ROC曲线，但是在给定的点上永远不会比更好的ROC曲线“更好”。 据我所知，我真的不理解幻灯片的正确性。左侧的概率计算对我来说没有意义。 更新： 找到了发明凸包方法的原始作者写的文章：http : //www.bmva.org/bmvc/1998/pdf/p082.pdf

15 machine-learning  probability  data-visualization  classification  roc 

假设我已经针对一个数据集（模型构建数据集）中特定疾病的发生构建了一个预测模型，现在想检查该模型在新数据集（验证数据集）中的运行情况。对于使用Logistic回归构建的模型，我将根据从模型构建数据集获得的模型系数计算验证数据集中每个人的预测概率，然后在将某些概率按临界值二等分后，可以构建一个2x2的表格这样我就可以计算出真实的阳性率（敏感性）和真实的阴性率（特异性）。此外，我可以通过更改截止值来构建整个ROC曲线，然后获得ROC图的AUC。 现在假设我实际上有生存数据。因此，我在模型构建数据集中使用了Cox比例风险模型，现在想检查模型在验证数据集中的运行情况。由于基准风险不是Cox模型中的参数函数，因此我看不到如何基于在模型构建数据集中获得的模型系数来获得验证数据集中每个人的预测生存概率。那么，我该如何检查模型在验证数据集中的表现呢？有确定的方法可以做到这一点吗？如果是，它们是否在任何软件中实现？在此先感谢您的任何建议！

15 predictive-models  cross-validation  survival  roc 

ROC曲线的优点是什么？ 例如，我正在对一些图像进行分类，这是一个二进制分类问题。我提取了约500个特征，并应用了特征选择算法来选择一组特征，然后将SVM应用于分类。在这种情况下，如何获得ROC曲线？是否应该更改特征选择算法的阈值，并获得输出的灵敏度和特异性以绘制ROC曲线？ 就我而言，创建ROC曲线的目的是什么？

15 machine-learning  roc 

我计划使用机器学习算法对大约10,000个案例使用重复（10次）分层10倍交叉验证。每次重复将使用不同的随机种子进行。 在此过程中，我为每种情况创建了10个概率估计实例。10倍交叉验证的10次重复中的每一次重复的概率估计的1个实例 我是否可以为每种情况平均10个概率，然后创建新的平均ROC曲线（代表重复10倍CV的结果），可以通过配对比较将其与其他ROC曲线进行比较？

15 roc 

我有一个包含100个案例和两个分类器的测试集。 我为这两个分类器生成了预测并计算了ROC AUC，敏感性和特异性。 问题1：如何计算p值，以检查一个总分（ROC AUC，敏感性，特异性）是否明显优于另一个？ 现在，对于100个案例的相同测试集，我为每种案例分配了不同且独立的功能。这是因为我的功能是固定的，但主观的，并且由多（5）个主题提供。 因此，我针对我的测试集的5个“版本”再次评估了两个分类器，并获得了5个ROC AUC，5个敏感性和5个特异性。然后，我计算了两个分类器的5个主题的每个性能指标的平均值（平均ROC AUC，平均灵敏度和平均特异性）。 问题2：如何计算p值，以检查一个均值（平均ROC AUC，平均敏感性，平均特异性）是否明显好于另一个？ 最好提供一些示例python（最好）或MatLab代码的答案。

14 machine-learning  statistical-significance  roc  auc  sensitivity-specificity 

我对我在SAS上的数据应用了逻辑回归，这是ROC曲线和分类表。 我对分类表中的数字感到满意，但不确定roc曲线及其下的面积是什么。任何解释将不胜感激。

14 regression  logistic  classification  roc 

我试图了解如何计算ROC曲线的最佳切点（灵敏度和特异性最大化的值）。我正在使用aSAH包中的数据集pROC。 该outcome变量可以由两个独立变量解释：s100b和ndka。使用该Epi包的语法，我创建了两个模型： library(pROC) library(Epi) ROC(form=outcome~s100b, data=aSAH) ROC(form=outcome~ndka, data=aSAH) 以下两个图形说明了输出： 在第一个图表（s100b）中，该函数表示最佳切点位于对应于的值lr.eta=0.304。在第二张图（ndka）中，最佳切点位于的对应值上lr.eta=0.335（的含义lr.eta）。我的第一个问题是： 什么是相应s100b和ndka的值lr.eta值表示（是什么方面的最佳临界点s100b和ndka）？ 第二个问题： 现在，假设我创建一个同时考虑了两个变量的模型： ROC(form=outcome~ndka+s100b, data=aSAH) 获得的图形为： 我想知道ndkaAND 的值是什么，s100b通过该函数可以最大程度地提高敏感性和特异性。换句话说：是什么样的价值观ndka和s100b我们已SE = 68.3％和SP = 76.4％（从图表中获取的值）？ 我想第二个问题与multiROC分析有关，但是该Epi软件包的文档并未解释如何为模型中使用的两个变量计算最佳切点。 我的问题与reasearchGate的问题非常相似，简而言之： 确定代表灵敏度和特异性之间更好权衡的临界值很简单。但是，对于多变量ROC曲线分析，我注意到大多数研究人员都将注意力集中在确定AUC上几个指标（变量）线性组合的整体准确性的算法上。[...] 但是，这些方法并未提及如何确定与多个指标相关联的临界值组合，以提供最佳的诊断准确性。 Shultz在他的论文中提出了一种可能的解决方案，但是从本文中，我无法理解如何为多元ROC曲线计算最佳切点。 也许Epi包装中的解决方案不是理想的，所以任何其他有用的链接将不胜感激。

14 r  roc  sensitivity-analysis  sensitivity-specificity