我想通过制作一个游戏来排名风景图像集，网站访问者可以对它们进行评分，从而找出人们最喜欢的图像。
这样做的一个好方法是什么？
你会怎么做？
如果您需要数字，那么我说的是每天访问量为20,000次的网站上的一百万张图片。我猜想为了争辩，一小部分人可能会玩游戏，可以说我一天可以进行2,000次人工排序操作！这是一个非营利性网站，终极好奇者会通过我的个人资料找到它：)
Answers:
就像其他人所说的那样，排名1-10的效果并不理想，因为人们的级别不同。
与该问题拾取A-或-B方法是，其不保证该系统能传递（A可以打败B，但乙节拍C，和C节拍A）。 使用非传递比较运算符会破坏排序算法。使用快速排序，在此示例中，未选择为枢轴的字母将彼此错误地排名。
在任何给定时间，您都希望对所有图片进行绝对排名（即使其中一些/全部并列）。您还希望除非有人投票，否则排名不会改变。
我将使用Pick A-or-B（或平局）方法，但是确定类似于Elo评分系统的排名，该系统用于2个玩家游戏（最初是国际象棋）中的排名：
Elo玩家评分系统将玩家的比赛记录与对手的比赛记录进行比较，并确定玩家赢得比赛的可能性。该概率因子根据每次比赛的结果来确定玩家的评分上升或下降多少点。当玩家击败等级较高的对手时，玩家的等级比击败等级较低的玩家时提高的更多（因为玩家应该击败等级较低的对手）。
Elo系统：
用图片替换“玩家”，您可以根据公式简单地调整两张图片的等级。然后，您可以使用这些数字分数进行排名。（这里的K值是锦标赛的“等级”。小型本地锦标赛是8-16，大型邀请赛/地区是8-32。您可以只使用20等常数）。
使用这种方法，您只需要为每个图片保留一个数字，这比将每个图片的各个等级彼此保留要少得多。
编辑：根据评论增加了一些肉。
解决该问题的大多数幼稚方法都有一些严重的问题。最糟糕的是bash.org 和qdb.us如何显示报价-用户可以对报价进行向上（+1）或向下（-1）投票，而最佳报价列表则按总净得分排序。这有一个可怕的时间偏差-旧的报价通过简单的寿命就积累了大量的正面投票，即使它们只是些许幽默。如果笑话随着年龄的增长变得越来越有趣，则此算法可能有意义，但是-相信我-他们没有。
解决此问题的方法有很多种，包括查看每个时间段的正面票数，对最近的票数加权，对较旧的票实施衰减系统，计算正面票与负面票的比率等。大多数情况都存在其他缺陷。
我认为，最好的解决方案是网站最有趣 ，最可爱，最美丽，最好的东西使用的一种解决方案-改良的Condorcet投票系统：
该系统根据所面临的情况，通常击败每个人的百分比为每个人提供一个数字。因此，每个人都会得到百分比分数NumberOfThingsIBeat /（NumberOfThingsIBeat + NumberOfThingsThatBeatMe）。同样，将事物从顶部列表中禁止，直到将它们与集合的合理百分比进行比较。
如果集合中有Condocont赢家，则此方法将找到它。由于这不太可能，考虑到统计性质，它会找到最接近Condorcet赢家的人。
有关实施此类系统的更多信息，排名对的Wikipedia页面应该会有所帮助。
该算法要求人们比较两个对象（您的Pick-A-or-B选项），但是坦率地说，这是一件好事。我相信决策理论已被人们很好地接受，人类比两个对象在抽象排名上要好得多。数百万年的演变使我们善于从树上摘下最好的苹果，但在决定我们摘苹果与真正柏拉图式苹果味的接近程度方面却很糟糕。（顺便说一下，这就是为什么分析层次结构流程如此精巧的原因……但这有点离题了。）
最后一点是，SO使用一种算法来找到最佳答案，这与bash.org的算法中找到最佳报价非常相似。它在这里运作良好，但在那儿却无法正常工作-很大程度上是因为这里可能编辑了旧的，评级很高但现在已经过时的答案。bash.org不允许进行编辑，而且即使您可以，也不清楚如何编辑有关当今互联网模因的数十年历史的笑话。无论如何，我的观点是，正确的算法通常取决于您的问题的细节。:-)
我知道这个问题已经很老了，但我认为我会有所作为
我看一下Microsoft Research开发的TrueSkill系统。就像ELO一样，但是收敛时间要快得多（与线性相比，它看起来是指数级的），因此您可以从每次投票中获得更多收益。但是，它在数学上更加复杂。
这些来自维基百科的方程式使计算Elo评级变得更加简单/有效，图像A和B的算法很简单：
使用以下两种方法计算新的评级：
更新新的额定值RA，RB并在数据库中计数mA，mB。
哇，我迟到了。
我非常喜欢ELO系统，但是就像欧文（Owen）所说，在我看来，建立任何重要成果的速度很慢。
我相信人类比仅仅比较两个图像具有更大的能力，但是您希望将交互保持在最低限度。
那么，如何显示n张图像（n是可以在屏幕上显示的任意数字，取决于用户的偏好，可以是10、20、30），然后让他们选择他们认为最合适的图像。现在回到ELO。您需要修改评分系统，但要保持同样的精神。实际上，您已将一个图像与n-1个图像进行了比较。因此，您要对ELO进行n-1次评级，但应将评级的变化除以n-1以匹配（这样，具有不同n值的结果将彼此一致）。
你完成了。您现在拥有了世界上最好的。一个简单的评分系统，只需单击一下即可处理许多图像。
如果您喜欢使用“选择A或B”策略，我会推荐这篇论文：http : //research.microsoft.com/en-us/um/people/horvitz/crowd_pairwise.pdf
Chen，X.，Bennett，PN，Collins-Thompson，K.，＆Horvitz，E.（2013年2月）。众包环境中的成对排名聚合。在第六届ACM国际Web搜索和数据挖掘会议论文集（第193-202页）中。ACM。
本文介绍了Crowd-BT模型，该模型将著名的Bradley-Terry成对比较模型扩展到了众包环境中。它还提供了一种自适应学习算法，以提高模型的时间和空间效率。您可以在Github上找到该算法的Matlab实现（但我不确定它是否有效）。
选择A-or-B是最简单且不易产生偏见的方法，但是，在每次人与人之间的互动中，它都会为您提供较少的信息。我认为，由于减少了偏见，Pick优越，并且在一定程度上为您提供了相同的信息。
一个非常简单的计分方案是为每个图片计数。当有人给出一个正比较结果时，计数增加，当有人给出一个负比较结果时，计数减小。
对一百万个整数列表进行排序非常快，并且在现代计算机上只需不到一秒钟的时间。
就是说，问题很不恰当-您需要50天才能显示每个图像一次。
我敢打赌，尽管您对排名最高的图像更感兴趣？因此，您可能希望按预测的排名来偏向图像检索-因此，您更有可能显示已经取得了一些积极比较的图像。这样，您将更快地开始显示“有趣”的图像。