Questions tagged «average-precision»

平均精度（AP）是精度调用曲线（PR曲线的AUC）下的面积吗？ 编辑： 这里有一些关于PR AUC和AP差异的评论。 AUC通过精度的梯形插值获得。另一种通常通常等效的指标是平均精度（AP），以info.ap返回。这是每次召回新的阳性样本时获得的精度平均值。如果精度是由常数段内插的，则它与AUC相同，并且是TREC最常使用的定义。 http://www.vlfeat.org/overview/plots-rank.html 此外，scikit-learn中的auc和average_precision_score结果不相同。这很奇怪，因为在文档中我们有： 根据预测分数计算平均精度（AP）该分数对应于精度调用曲线下的面积。 这是代码： # Compute Precision-Recall and plot curve precision, recall, thresholds = precision_recall_curve(y_test, clf.predict_proba(X_test)[:,1]) area = auc(recall, precision) print "Area Under PR Curve(AP): %0.2f" % area #should be same as AP? print 'AP', average_precision_score(y_test, y_pred, average='weighted') print 'AP', average_precision_score(y_test, y_pred, average='macro') print 'AP', …

27 scikit-learn  precision-recall  auc  average-precision 

我想比较两种排名算法。在这些算法中，客户在搜索中指定一些条件。根据客户的要求，这些算法应为数据库中的每个项目分配一个分数，并检索得分最高的项目。 我在该站点上阅读了与我的问题相关的不同主题，并在网上搜索。根据我的搜索，最相关的文章解释了一些用于比较排名算法的指标，这是：Brian McFee和Gert RG Lanckriet，Metric Learning to Rank，ICML 2010（https://bmcfee.github.io/papers/mlr .pdf）。我认为prec @ k，MAP，MRR和NDCG是可以使用的良好指标，但是我有一个问题： 我的算法对结果进行排序，因此结果列表中的第一项是得分最高的最佳项，第二项结果是第二高分，依此类推。我将搜索算法限制为例如找到5个最佳结果。结果是最热门的5个项目。因此，精度将为1。当我限制搜索以找到最佳结果时，它将找到最佳结果。同样，精度将为1。但是问题是，看到此结果的人无法接受。 我能做什么？我如何比较这些算法并显示一种算法优于另一种算法？

12 machine-learning  precision-recall  average-precision 

我试图了解何时适合使用MAP以及何时应使用MRR。我发现此演示文稿指出，当相关结果的数量小于5时，使用MRR最佳，而当结果为1时，则使用MRR最佳。在其他情况下，MAP适用。我有两个问题： 我真的不明白为什么会这样。 我找不到此主张的引证依据。 请注意，我没有很强的统计背景，所以外行的解释会很有帮助。谢谢。

12 information-retrieval  average-precision