Questions tagged «auc»

F1分数是精度和召回率的谐波平均值。召回的y轴是真实的阳性率（也称为召回率）。因此，有时分类器的召回率较低，但AUC却很高，这意味着什么？ AUC和F1分数有什么区别？

14 machine-learning  precision-recall  auc  accuracy 

Kaggle的比赛Porto Seguro的“安全驾驶员预测”使用“标准化基尼分数”作为评估指标，这让我很好奇这种选择的原因。使用规范化的gini得分代替最常用的指标（如AUC）进行评估有什么优势？

14 classification  auc  model-evaluation  gini 

我有一个包含100个案例和两个分类器的测试集。 我为这两个分类器生成了预测并计算了ROC AUC，敏感性和特异性。 问题1：如何计算p值，以检查一个总分（ROC AUC，敏感性，特异性）是否明显优于另一个？ 现在，对于100个案例的相同测试集，我为每种案例分配了不同且独立的功能。这是因为我的功能是固定的，但主观的，并且由多（5）个主题提供。 因此，我针对我的测试集的5个“版本”再次评估了两个分类器，并获得了5个ROC AUC，5个敏感性和5个特异性。然后，我计算了两个分类器的5个主题的每个性能指标的平均值（平均ROC AUC，平均灵敏度和平均特异性）。 问题2：如何计算p值，以检查一个均值（平均ROC AUC，平均敏感性，平均特异性）是否明显好于另一个？ 最好提供一些示例python（最好）或MatLab代码的答案。

14 machine-learning  statistical-significance  roc  auc  sensitivity-specificity 

为什么ROC曲线下的面积使分类器（从检索到的预测中）对随机选择的“正”实例进行排序的概率高于（从原始正分类中）随机选择的“正”实例的概率？如何用积分从数学上证明这一说法，使CDF和PDF具有真实的正负类分布？

14 probability  roc  auc 

给定的数据集与二元结果ÿ∈ { 0 ，1 }ñy∈{0,1}ny\in\{0,1\}^n和一些预测矩阵X∈Rn×pX∈Rn×pX\in\mathbb{R}^{n\times p}，标准逻辑回归模型估计系数βMLEβMLE\beta_{MLE}其最大化二项式可能性。当XXX是满秩βMLEβMLE\beta_{MLE}是独一无二的; 当不存在完美分离时，它是有限的。 这是否最大似然模型还最大化ROC AUC（又名ccc t-统计），还是存在一些系数估计βAUC≠βMLEβAUC≠βMLE\beta_{AUC} \neq \beta_{MLE}这将获得较高的ROC AUC？如果确实MLE不一定使ROC AUC最大化，那么看这个问题的另一种方式是“是否存在似然最大化的替代方案，它将始终使对数回归的ROC AUC最大化？” 我假设模型在其他方面是相同的：我们不会在XXX添加或删除预测变量，也不会更改模型规格，并且我假设似然最大化和AUC最大化模型正在使用相同的链接函数。

13 logistic  maximum-likelihood  auc 

用于比较两个或多个分类模型的一种常用方法是使用ROC曲线（AUC）下的面积作为间接评估其性能的一种方法。在这种情况下，通常将具有较大AUC的模型解释为比具有较小AUC的模型具有更好的性能。但是，根据Vihinen，2012年（https://www.ncbi.nlm.nih.gov/pmc/articles/PMC3303716/）所述，当两条曲线相互交叉时，这种比较不再有效。为什么会这样呢？ 例如，根据ROC曲线和下面的AUC，可以确定模型A，模型B和模型C的方法是什么？

13 machine-learning  classification  roc  auc  model-evaluation 

当我们例如使用AUC评估随机森林的质量时，是否更适合在“外出样品”或交叉验证的保留集内计算这些数量？ 我听说在OOB Samples上计算得出的结果更为悲观，但我不知道为什么。

13 cross-validation  random-forest  auc 

在机器学习中，我们可以使用ROC曲线下的面积（通常缩写为AUC或AUROC）来总结系统在两个类别之间的区分程度。在信号检测理论中，通常将（灵敏度指标）用于类似目的。两者是紧密相连的，如果满足某些假设，我相信它们彼此等效。d′d′d' 的的计算通常是基于假设正态分布的信号分布（见维基链接以上，例如）呈现。ROC曲线计算不做此假设：它适用于任何可输出可阈值的连续值决策标准的分类器。d′d′d' 维基百科说是相当于。如果两个假设都满足，这似乎是正确的。但是，如果假设不相同，那就不是普遍真理。d′d′d'2AUC−12AUC−12 \text{AUC} - 1 将假设的差异描述为“ AUC对基本分布做出的假设更少”是否公平？还是实际上与AUC一样广泛适用，但是使用人们倾向于使用假设正态分布的计算只是一种惯例？我错过的基本假设是否还有其他差异？d′d′d'd′d′d'

13 machine-learning  roc  auc  signal-detection  d-prime 

我遇到了体积相似度（https://en.wikipedia.org/wiki/S%C3%B8rensen%E2%80%93Dice_coefficient）和准确性（https://en.wikipedia.org/wiki/Accuracy_and_precision）的骰子系数）。 在我看来，这两种措施是相同的。有什么想法吗？

13 descriptive-statistics  roc  accuracy  precision-recall  auc 

我已经安装好模型，并试图了解它是否有好处。我已经计算出推荐的指标进行评估（ / AUC /准确性/预测误差等），但不知道如何解释它们。简而言之，如何根据指标判断我的模型是否良好？例如，为0.6是否足以让我继续进行推断或做出科学/商业决策？[R2R2R^2[R2R2R^2 这个问题是有意的，涵盖了会员经常遇到的各种情况；这样的问题可以作为此问题的副本来解决。欢迎进行修改以扩大范围，使其超出此处提到的指标，还有其他答案-尤其是那些提供有关其他类别指标的见解的答案。

12 goodness-of-fit  r-squared  accuracy  auc  diagnostic 

我正在执行二进制分类任务，其中结果概率相当低（大约3％）。我正在尝试决定是否通过AUC或对数损失进行优化。据我所知，AUC最大化了模型区分类别的能力，而对数损失则惩罚了实际概率与估计概率之间的差异。在我的任务中，校准精度非常重要。所以我会选择logloss，但是我想知道最好的log-loss模型是否也应该是最好的AUC / GINI模型。

12 classification  binary-data  auc  log-loss 

我有一个二进制分类问题，我在上面试验了不同的分类器：我想比较这些分类器。哪种方法更适合测量AUC或准确性？又为什么呢？ Raondom Forest: AUC: 0.828 Accuracy: 79.6667 % SVM: AUC: 0.542 Accuracy: 85.6667 %

11 machine-learning  classification  auc 

的mgcv软件包R具有两个功能，用于拟合张量积相互作用：te()和ti()。我了解两者之间的基本分工（拟合非线性交互与将这种交互分解为主要效果和交互）。我不明白的是为什么te(x1, x2)而ti(x1) + ti(x2) + ti(x1, x2)可能产生（略）不同的结果。 MWE（改编自?ti）： require(mgcv) test1 <- function(x,z,sx=0.3,sz=0.4) { x <- x*20 (pi**sx*sz)*(1.2*exp(-(x-0.2)^2/sx^2-(z-0.3)^2/sz^2)+ 0.8*exp(-(x-0.7)^2/sx^2-(z-0.8)^2/sz^2)) } n <- 500 x <- runif(n)/20;z <- runif(n); xs <- seq(0,1,length=30)/20;zs <- seq(0,1,length=30) pr <- data.frame(x=rep(xs,30),z=rep(zs,rep(30,30))) truth <- matrix(test1(pr$x,pr$z),30,30) f <- test1(x,z) y <- f + rnorm(n)*0.2 par(mfrow = c(2,2)) # …

11 r  gam  mgcv  conditional-probability  mixed-model  references  bayesian  estimation  conditional-probability  machine-learning  optimization  gradient-descent  r  hypothesis-testing  wilcoxon-mann-whitney  time-series  bayesian  inference  change-point  time-series  anova  repeated-measures  statistical-significance  bayesian  contingency-tables  regression  prediction  quantiles  classification  auc  k-means  scikit-learn  regression  spatial  circular-statistics  t-test  effect-size  cohens-d  r  cross-validation  feature-selection  caret  machine-learning  modeling  python  optimization  frequentist  correlation  sample-size  normalization  group-differences  heteroscedasticity  independence  generalized-least-squares  lme4-nlme  references  mcmc  metropolis-hastings  optimization  r  logistic  feature-selection  separation  clustering  k-means  normal-distribution  gaussian-mixture  kullback-leibler  java  spark-mllib  data-visualization  categorical-data  barplot  hypothesis-testing  statistical-significance  chi-squared  type-i-and-ii-errors  pca  scikit-learn  conditional-expectation  statistical-significance  meta-analysis  intuition  r  time-series  multivariate-analysis  garch  machine-learning  classification  data-mining  missing-data  cart  regression  cross-validation  matrix-decomposition  categorical-data  repeated-measures  chi-squared  assumptions  contingency-tables  prediction  binary-data  trend  test-for-trend  matrix-inverse  anova  categorical-data  regression-coefficients  standard-error  r  distributions  exponential  interarrival-time  copula  log-likelihood  time-series  forecasting  prediction-interval  mean  standard-error  meta-analysis  meta-regression  network-meta-analysis  systematic-review  normal-distribution  multiple-regression  generalized-linear-model  poisson-distribution  poisson-regression  r  sas  cohens-kappa 

因为我的数据集非常不平衡（9％的积极结果），所以我决定精确召回曲线比ROC曲线更合适。我获得了PR曲线下面积的类似汇总度量值（如果您有兴趣，则为.49），但是不确定如何解释它。我听说.8或以上才是ROC的一个好AUC，但是对于精确召回曲线而言，AUC的一般截止点会是一样的吗？

11 classification  precision-recall  auc 

我在纸上阅读了此标题，但从未在其他地方看到过这种方式描述的AUC。这是真的？有没有证明或简单的方法可以看到这一点？ 图2显示了根据接收器工作特性曲线（AUC）下的面积表示的二分变量的预测精度，这相当于正确地将每个类别中的两个随机选择的用户正确分类的概率（例如，男性和女性） ）。 在我看来，这不是真的，因为对于AUC = 0.5，以上内容表明一个人有50％的概率连续两次正确预测一次硬币翻转，但实际上，您只有25％的机会正确预测连续两次硬币翻转的过程。至少，我就是这么想的。

11 classification  roc  auc