使用每个选民的准确性和相关不确定性的投票系统

假设我们有一个简单的“是/否”问题，我们想知道答案。有N个人“投票”以获取正确答案。每个投票者都有一个历史记录-1和0的列表，显示他们过去对此类问题是对还是错。如果我们将历史假设为二项式分布，我们可以发现选民在此类问题，他们的变异，CI和任何其他种类的置信度指标上的平均表现。

基本上，我的问题是：如何将信任度信息纳入投票系统？

例如，如果我们仅考虑每个投票者的平均表现，则可以构建简单的加权投票系统：

也就是说，我们可以将选民的权重总和乘以（代表“是”）或（代表“否”）。这是有道理的：如果选民1的平均正确答案等于，而选民2的平均答案只有，那么应该比第一人的投票更重要。另一方面，如果第一人称仅回答了10个此类问题，而第二人回答了1000个此类问题，则我们对第二人的技能水平比对第一人的技能更有信心-第一人可能很幸运，并且在获得10个相对成功的答案后，他将继续获得更差的结果。- 1 0.9 $+1$$-1$$.9$$.8$

因此，更精确的问题听起来可能是这样的：是否存在兼具强度和置信度的统计指标？

您应该将选民的专业知识视为系统的潜在变量。然后，您可以使用贝叶斯推理解决您的问题。作为图形模型的表示可能是这样的：

让我们表示变量对真正的答案，为选民的选票和了它的历史。假设您还有一个“专家”参数这样。如果在这些上放一些先验（例如Beta优先），则应该能够使用贝叶斯定理来推断，然后在以计算 $A$$V_i$$i$$H_i$$\mu_i$$\Pr(A=V_i) = \mu_i$$\mu_i$$\Pr(\mu_i \mid H_i)$$\mu_i$

这些系统很难解决。您可以将EM算法用作近似值，也可以使用完整的似然最大化方案来执行精确的贝叶斯推断。

看一下这篇关于众包的变异推理，Liu，Peng和Ihler 2012（昨天在NIPS！上发表），其中提供了解决此任务的详细算法。