Questions tagged «accuracy»

我最近一直在学习针对概率分类器的正确评分规则。该网站上的多个主题强调了准确性是不正确的评分规则，不应将其用于评估概率模型（如逻辑回归）生成的预测的质量。 但是，我阅读的许多学术论文都给出了误分类的损失，以此作为二进制分类设置中（非严格）正确评分规则的一个示例。我能找到的最清晰的解释是在本文的第7页底部。据我所知，使分类错误的损失最小化等于使准确性最大化，并且本文中的方程式很直观。 例如：使用本文的表示法，如果感兴趣类别的真实条件概率（给定某些特征向量x）为η= 0.7，则任何预测q > 0.5的预期损失R（η| q）= 0.7（0）+ 0.3（1）= 0.3，则任何q 0.5都将具有0.7的预期损失。因此，损失函数在q =η= 0.7时将最小化，因此是适当的；从那里到真正条件概率和预测整个范围的泛化似乎很简单。≤≤\leq 假设以上计算和陈述正确无误，那么最小值的缺点就很明显，所有高于0.5的预测均具有相同的最小预期损失。我仍然没有理由在诸如log得分，Brier得分等传统方法上使用准确性。但是，在二进制环境中评估概率模型时，说准确性是一个正确的评分规则是正确的吗？错误-是我对分类错误的理解，还是将其等同于准确性？

13 probability  accuracy  scoring-rules 

我遇到了体积相似度（https://en.wikipedia.org/wiki/S%C3%B8rensen%E2%80%93Dice_coefficient）和准确性（https://en.wikipedia.org/wiki/Accuracy_and_precision）的骰子系数）。 在我看来，这两种措施是相同的。有什么想法吗？

13 descriptive-statistics  roc  accuracy  precision-recall  auc 

我已经安装好模型，并试图了解它是否有好处。我已经计算出推荐的指标进行评估（ / AUC /准确性/预测误差等），但不知道如何解释它们。简而言之，如何根据指标判断我的模型是否良好？例如，为0.6是否足以让我继续进行推断或做出科学/商业决策？[R2R2R^2[R2R2R^2 这个问题是有意的，涵盖了会员经常遇到的各种情况；这样的问题可以作为此问题的副本来解决。欢迎进行修改以扩大范围，使其超出此处提到的指标，还有其他答案-尤其是那些提供有关其他类别指标的见解的答案。

12 goodness-of-fit  r-squared  accuracy  auc  diagnostic 

我正在学习功能选择。我明白了为什么它对于模型构建非常重要和有用。但是，让我们专注于监督学习（分类）任务。为什么特征选择对于分类任务很重要？ 我看到许多关于特征选择及其在监督学习中的使用的文献，但这使我感到困惑。功能选择与确定要丢弃的功能有关。直观地讲，丢弃某些功能似乎是自欺欺人的：它是在丢弃信息。似乎抛出信息应该无济于事。 即使删除某些功能确实有帮助，但如果我们抛弃某些功能，然后将其余功能馈入有监督的学习算法中，为什么我们需要自己做，而不是让有监督的学习算法来处理呢？如果某个功能没有帮助，难道没有任何像样的监督学习算法会隐式地发现这一点并学习不使用该功能的模型吗？ 因此，从直觉上讲，我希望功能选择是毫无意义的练习，永远无济于事，有时甚至会受伤。但是，事实是如此广泛地使用和撰写，使我怀疑我的直觉是错误的。在进行监督学习时，任何人都可以提供任何直觉来说明为什么功能选择有用且重要吗？为什么它可以提高机器学习的性能？是否取决于我使用的分类器？

11 feature-selection  accuracy  regression-strategies 

假设我们有一个简单的“是/否”问题，我们想知道答案。有N个人“投票”以获取正确答案。每个投票者都有一个历史记录-1和0的列表，显示他们过去对此类问题是对还是错。如果我们将历史假设为二项式分布，我们可以发现选民在此类问题，他们的变异，CI和任何其他种类的置信度指标上的平均表现。 基本上，我的问题是：如何将信任度信息纳入投票系统？ 例如，如果我们仅考虑每个投票者的平均表现，则可以构建简单的加权投票系统： result=sign(∑v∈votersμv×(−1)1−vote)result=sign(∑v∈votersμv×(−1)1−vote)result = sign(\sum_{v \in voters}\mu_v \times (-1)^{1-vote}) 也就是说，我们可以将选民的权重总和乘以（代表“是”）或（代表“否”）。这是有道理的：如果选民1的平均正确答案等于，而选民2的平均答案只有，那么应该比第一人的投票更重要。另一方面，如果第一人称仅回答了10个此类问题，而第二人回答了1000个此类问题，则我们对第二人的技能水平比对第一人的技能更有信心-第一人可能很幸运，并且在获得10个相对成功的答案后，他将继续获得更差的结果。- 1 0.9 0.8+1+1+1−1−1-1.9.9.9.8.8.8 因此，更精确的问题听起来可能是这样的：是否存在兼具强度和置信度的统计指标？

11 accuracy  uncertainty  weighted-mean  voting-system 

我想比较2个不同的分类器，以解决使用大型训练数据集的多类文本分类问题。我怀疑我应该使用ROC曲线还是学习曲线来比较这两个分类器。 一方面，学习曲线对于确定训练数据集的大小很有用，因为您可以找到分类器停止学习（并可能降级）的数据集的大小。因此，在这种情况下，最好的分类器可能是精度最高，数据集大小最小的分类器。 另一方面，ROC曲线可让您在灵敏度/特异性之间找到适当权衡的点。在这种情况下，最好的分类器就是最接近左上角的分类器，它是所有FPR中最高的TPR。 我应该同时使用两种评估方法吗？学习曲线较好的方法的ROC曲线是否可能变差，反之亦然？

11 machine-learning  classification  roc  accuracy 

我了解f量度（基于精度和召回率）是对分类器的准确性的估计。同样，当我们有不平衡的数据集时，f度量优于准确性。我有一个简单的问题（更多是关于使用正确的术语，而不是技术）。我的数据集不平衡，并且在实验中使用了f-measure。我准备写一篇不适合机器学习/数据挖掘会议的论文。因此，在这种情况下，我可以准确地同义地指代f度量。例如，我的f值为0.82，那么我可以说我的分类器达到了82％的准确预测吗？

11 machine-learning  classification  data-mining  unbalanced-classes  accuracy 

我在逻辑模型中看到的AIC的典型值是数千，至少数百。例如，在http://www.r-bloggers.com/how-to-perform-a-logistic-regression-in-r/上 ，AIC为727.39 虽然总是说AIC仅应用于比较模型，但我想了解特定AIC值的含义。根据公式， 一个我C= - 2 日志（L ）+ 2 K一个一世C=-2日志⁡（大号）+2ķAIC= -2 \log(L)+ 2K 其中，L =来自MLE估计器的最大似然，K是参数数量 在上面的示例中，K = 8 因此，用简单的算术： 727.9 = -2*log(L)+ 2*8 Hence, 711.39 = -2*log(L) Hence, log (L)= 711.39/-2 = -355.695 Hence, L = exp(-355.695) = 3.3391E-155 因此，如果我的理解是正确的，这就是通过MLE拟合数据确定的功能的可能性。这似乎真的真的很低。 我在这里想念什么？

9 regression  model-selection  aic  accuracy 

我们正在使用STL（R实现）来预测时间序列数据。 每天我们都会进行每日预测。我们想将预测值与实际值进行比较，并确定平均偏差。例如，我们对明天进行了预测并获得了预测点，我们希望将这些预测点与明天将要获得的真实数据进行比较。我知道，预测值和实际数据在大多数情况下可能不匹配，这就是我们希望保持每天的准确性的原因之一。 现在，我们正在尝试确定解决此问题的最佳方法是什么？任何帮助指针将不胜感激。 我看过“ 衡量预测准确性问题”，但它似乎与比较模型有关，而不是与实际值一起计算准确性。 我看过R中的精度函数实现，但与两个问题混淆： 1）它可用于真实数据还是预测数据，因为大多数教程都说“测试数据”还是“预测数据” 2）精度函数的输出似乎是值的数组而不是偏差的百分比。

9 time-series  forecasting  accuracy