Questions tagged «accuracy»

这是一个一般性问题，在这里多次被间接问到，但缺少一个权威性的答案。对此有详细的答案将是很棒的参考。 准确度（正确分类在所有分类中所占的比例）是非常简单且非常“直观”的度量，但是对于不平衡的数据而言可能不是一个很好的度量。为什么我们的直觉会误导我们，并且此措施还有其他问题？

107 machine-learning  classification  accuracy  model-evaluation  scoring-rules 

尽管已经看过502847894789次这些术语，但我一生都无法记住灵敏度，特异性，精度，准确性和召回率之间的差异。它们是非常简单的概念，但是名称对我来说是非常不直观的，因此我一直使它们彼此混淆。什么是考虑这些概念的好方法，以便使名称开始有意义？ 换句话说，为什么为这些概念选择了这些名称，而不是其他一些名称？

49 terminology  accuracy  sensitivity-specificity 

我是数据挖掘的新手，我正在尝试针对高度不平衡的数据集训练决策树。但是，我遇到了预测准确性较差的问题。 数据由学习课程的学生组成，班级变量是课程状态，具有两个值-撤回或当前。 年龄 种族 性别 课程 ... 课程状态 在数据集中，当前的实例多于撤回的实例。撤消的实例仅占实例总数的2％。 我希望能够建立一个模型，该模型可以预测一个人将来会退出的可能性。但是，当针对训练数据测试模型时，模型的准确性非常糟糕。 我在决策树中也遇到过类似的问题，决策树中的数据由一两个类控制。 我可以使用哪种方法来解决此问题并建立更准确的分类器？

43 classification  cart  unbalanced-classes  accuracy 

我的决策树准确性达到100％。我究竟做错了什么？ 这是我的代码： import pandas as pd import json import numpy as np import sklearn import matplotlib.pyplot as plt data = np.loadtxt("/Users/Nadjla/Downloads/allInteractionsnum.csv", delimiter=',') x = data[0:14] y = data[-1] from sklearn.cross_validation import train_test_split x_train = x[0:2635] x_test = x[0:658] y_train = y[0:2635] y_test = y[0:658] from sklearn.tree import DecisionTreeClassifier tree = …

38 machine-learning  python  cart  accuracy 

的平均绝对误差百分比（MAPE）是一种常见的准确度或误差测量的时间序列或其它预测， MAPE=100n∑t=1n|At−Ft|At%,MAPE=100n∑t=1n|At−Ft|At%, \text{MAPE} = \frac{100}{n}\sum_{t=1}^n\frac{|A_t-F_t|}{A_t}\%, 其中AtAtA_t是实际值，而FtFŤF_t相应的预测或预测。 MAPE是百分比，因此我们可以轻松地在系列之间进行比较，并且人们可以轻松理解和解释百分比。 但是，我听说MAPE有缺点。我想更好地了解这些缺点，因此我可以就是否使用MAPE或MSE（mse），MAE（mae）或MASE（mase）之类的替代方案做出明智的决定。

29 accuracy  mape 

假设一个模型对训练数据的准确性为100％，但对测试数据的准确性为70％。关于该模型，以下论点正确吗？ 显然，这是一个过拟合模型。通过减少过度拟合可以提高测试精度。但是，此模型仍然可以是有用的模型，因为它对于测试数据具有可接受的准确性。

25 model  accuracy  overfitting 

我对F1分数，Dice分数和IoU（联合上方的交集）之间的差异感到困惑。到目前为止，我发现F1和Dice的含义相同（对吗？），IoU的公式与其他两个公式非常相似。 F1 /骰子：2TP2TP+FP+FN2TP2TP+FP+FN\frac{2TP}{2TP+FP+FN} IoU / Jaccard：TPTP+FP+FNTPTP+FP+FN\frac{TP}{TP+FP+FN} 除了F1赋予真实正数更高的权重之外，是否存在任何实际差异或其他值得注意的东西？有一种情况我会用一种而不用另一种吗？

24 terminology  accuracy  precision-recall 

平均绝对比例误差（MASE）是对预测准确性的一种度量，由 Koehler＆Hyndman（2006）。 MASE=MAEMAEin−sample,naiveMASE=MAEMAEin−sample,naiveMASE=\frac{MAE}{MAE_{in-sample, \, naive}} 其中是实际预测产生的平均绝对误差； 而M A E i n − s a m p lMAEMAEMAE是天真预测产生的平均绝对误差（例如，积分I（1MAEin−sample,naiveMAEin−sample,naiveMAE_{in-sample, \, naive}样本内数据计算出）时间序列。I(1)I(1)I(1) （查看 Koehler＆Hyndman（2006）的文章以获取精确的定义和公式。） 意味着实际的预测确实恶化了样品的比幼稚预测样品一样，在平均绝对误差的条款。因此，如果平均绝对误差是预测准确性的相关度量（取决于当前的问题），则 M A S E &gt; 1MASE&gt;1MASE&gt;1MASE>1MASE&gt;1MASE&gt;1MASE>1表示，如果我们期望超出预期范围，则应放弃实际预测，而采用幼稚的预测样本数据非常类似于样本中的数据（因为我们只知道样本中的幼稚预测执行得很好，而不是样本外）。 题： 作为在此提出一个预测竞争的标杆Hyndsight博客文章。一个明显的基准应该不是 M A S E =MASE=1.38MASE=1.38MASE=1.38吗？MASE=1MASE=1MASE=1 当然，这个问题并不特定于特定的预测竞赛。我希望在更一般的背景下帮助您理解这一点。 我猜： 我看到的唯一合理的解释是，由于结构的变化，天真的预测在样本外的表现要比样本中的表现差得多。然后可能已经太具有挑战性的实现。MASE&lt;1MASE&lt;1MASE<1 参考文献： Hyndman，Rob J.和Anne B. Koehler。“ 另一种方法是对预测准确性的度量。 ”国际预测杂志》 22.4（2006年）：679-688。 Hyndsight博客文章。

22 time-series  forecasting  accuracy  mase 

首先，他给出了结果的可能性。因此，举例来说，他对美国大选的预测目前为克林顿82％，特朗普18％。 现在，即使特朗普获胜，我怎么不知道他应该赢得的不仅仅是18％的时间？ 另一个问题是他的概率随时间变化。因此，在7月31日，特朗普和克林顿之间的差距几乎达到了50:50。 我的问题是，鉴于他每天在同一事件中具有相同结果并具有不同结果的概率不同，我如何衡量他根据当日可用的信息做出预测的每一天的准确性？

19 forecasting  prediction  validation  accuracy  scoring-rules 

假设我用K = 10折进行K折交叉验证。每折都会有一个混淆矩阵。报告结果时，我应该计算什么是平均混淆矩阵，还是仅对混淆矩阵求和？

18 machine-learning  cross-validation  accuracy 

我为诊断系统构建了ROC曲线。然后非参数地将曲线下的面积估计为AUC = 0.89。当我尝试在最佳阈值设置（最接近点（0，1）的点）上计算精度时，诊断系统的精度为0.8，小于AUC！当我在另一个阈值设置（与最佳阈值相差很远）下检查精度时，我得到的精度等于0.92。是否可以使诊断系统在最佳阈值设置下的准确度低于另一个阈值的准确度，并且也低于曲线下的面积？请参阅所附图片。

16 roc  reliability  accuracy  auc 

在简单神经网络二进制分类器的训练过程中，我使用交叉熵得到了很高的损失值。尽管如此，验证集的准确性仍然具有很高的价值。有什么意义吗？损失与准确性之间没有严格的关联吗？ 我在训练和验证这些值时：0.4011-acc：0.8224-val_loss：0.4577-val_acc：0.7826。这是我实现NN的首次尝试，而我刚刚接触过机器学习，因此无法正确评估这些结果。

15 neural-networks  accuracy 

在第40页的“傻瓜生物统计学”一书中，我读到： 标准误差（缩写为SE）是表明您对某物的估计或测量的精确度的一种方法。 和 置信区间提供了另一种方法来指示某事物的估计或度量的精度。 但是，没有任何关于如何指示测量精度的文章。 问题：如何指示某物的测量精度如何？有哪些方法？ 不要与测试的准确性和准确性相混淆：https : //en.wikipedia.org/wiki/Accuracy_and_precision#In_binary_classification

15 confidence-interval  standard-error  measurement-error  accuracy 

F1分数是精度和召回率的谐波平均值。召回的y轴是真实的阳性率（也称为召回率）。因此，有时分类器的召回率较低，但AUC却很高，这意味着什么？ AUC和F1分数有什么区别？

14 machine-learning  precision-recall  auc  accuracy 

抱歉，这是一个非常明显的问题，但我一直在阅读各种文章，似乎找不到很好的确认。在分类的情况下，分类器的精度是否为1-测试错误率？我得到的准确度是，但是我的问题是准确度和测试错误率到底有何关系。 TP+TNP+NTP+TNP+N\frac{TP+TN}{P+N}

14 classification  terminology  accuracy