平均平均精度与平均倒数排名

我试图了解何时适合使用MAP以及何时应使用MRR。我发现此演示文稿指出，当相关结果的数量小于5时，使用MRR最佳，而当结果为1时，则使用MRR最佳。在其他情况下，MAP适用。我有两个问题：

• 我真的不明白为什么会这样。
• 我找不到此主张的引证依据。

请注意，我没有很强的统计背景，所以外行的解释会很有帮助。谢谢。

假设您有某种查询，并且您的检索系统已向您返回了与您的查询最相关的前20个项目的排名列表。现在还要想象一下，这是有道理的，实际上我们可以对这20个人中的每一个说“是”是一个相关的答案，或者说“否”不是。

在这些情况下，均值倒数排名（MRR）为您提供了质量的一般衡量标准，但是MRR只在乎单个排名最高的相关项目。如果您的系统在第三高的位置返回了相关的项目，那就是MRR关心的。不在乎其他相关项目（假设有任何其他项目）是排名第4还是排名第20。

因此，MRR适合判断一个系统，其中（a）只有一个相关的结果，或者（b）在您的用例中，您只真正在乎排名最高的结果。例如，在某些Web搜索场景中，用户只是想找到一件要点击的东西，而他们不再需要点击。（尽管这通常是正确的，还是您对返回十个非常好的答案的网络搜索感到更满意，并且您可以对要单击的内容做出自己的判断...？）

平均平均精度（MAP）考虑是否所有相关项目都倾向于获得较高的排名。因此，在前20个示例中，它不仅在乎是否有相关的答案排在第3位，而且还关心该列表中的所有“是”项是否都排在顶部。

当数据集中只有一个相关答案时，根据MAP 的标准定义，MRR和MAP 完全相等。

要了解为什么，请考虑以下受玩具启发的示例，此示例受此博客文章中的示例启发：

例子1

查询：“加州首都”

排名结果：“波特兰”，“萨克拉曼多”，“洛杉矶”

排名结果（二进制相关性）：[0，1，0]

正确答案的数量：1

倒数排名：$\frac{1}{2}$

精度为1： $\frac{0}{1}$

精度为2： $\frac{1}{2}$

精度为3： $\frac{1}{3}$

平均精度=。$\frac{1}{m} * \frac{1}{2} = \frac{1}{1}*\frac{1}{2} = 0.5$

如您所见，具有一个正确答案的查询的平均精度等于正确结果的倒数。因此，此类查询的集合的MRR将等于其MAP。但是，如以下示例所示，如果存在多个正确答案，则情况会有所不同：

例子2

查询：“加利福尼亚的城市”

排名结果：“波特兰”，“萨克拉曼多”，“洛杉矶”

排名结果（二进制相关性）：[0，1，1]

正确答案的数量：2

倒数排名：$\frac{1}{2}$

精度为1： $\frac{0}{1}$

精度为2： $\frac{1}{2}$

精度为3： $\frac{2}{3}$

平均精度=。$\frac{1}{m} * \big[ \frac{1}{2} + \frac{2}{3} \big] = \frac{1}{2} * \big[ \frac{1}{2} + \frac{2}{3} \big] = 0.38$

因此，在这种情况下，MRR与MAP的选择完全取决于您是否希望在第一个正确的匹配之后影响排名。