情报平方计分和获胜者确定


12

有一个称为“情报平方”的NPR播客。每集都播放有关一些争议性声明的现场辩论,例如“第二修正案不再相关”或“对大学校园采取平权行动弊大于利”。四名代表辩论,两名代表议案,两名反对。

为了确定哪一方获胜,在辩论前后都要对观众进行投票。从绝对百分比上获得更多收益的一方被视为获胜者。例如:

          For    Against  Undecided
 Before   18%      42%       40%
 After    23%      49%       28%

 Winner: Against team -- The motion is rejected.

直觉上,我认为这种衡量成功的方法是有偏见的,我想知道如何以公平的方式对听众进行投票以确定赢家。

我立即在当前方法中看到了三个问题:

  • 在极端情况下,如果一方以100%达成共识,那么他们只能平局或输球。

  • 如果没有未定的决定,则初始协议较少的那一侧可被视为具有较大的样本量,可从中进行抽取。

  • 未定的一面不太可能真正地未定。如果我们假设双方是两极分化的,那么如果我们被迫放弃一方,似乎我们先前对未定人群的信念应该是。Beta(# For,# Against)

鉴于我们必须依靠受众调查,是否有更公平的方法来判断谁获胜?


1
我认为将“ For-Against比率-After”除以“ For-Against比率-Before”(本质上是优势比率)之类的方法是更好的选择。如果大于1,则您提高了赔率;如果小于1,则没有提高。
Glen_b-恢复莫妮卡2014年

这也是我最初的想法,尽管我将其表述为百分比增长。我只是不确定如何证明这是一个公正的估计。
Wesley Tansey 2014年

对什么的公正估计?我不确定无偏心是否是为此特别理想的属性。
Glen_b-恢复莫妮卡2014年

双方的表现如何。理想情况下,我们不想基于人群的最初反应而对结果产生偏见。否则,我可能正在考虑这完全是错误的...
Wesley Tansey 2014年

嗯,我认为我们在这里以略有不同的方式使用偏见。无论我的建议是在这个意义上偏向取决于什么正是你想测量。通过一种流行的方法,它可以完美地解决该问题。
Glen_b-恢复莫妮卡2014年

Answers:


10

您的担心是有根据的。不幸的是,有许多可辩护的,客观的方法来解决这一问题,并且它们可能彼此冲突。 以下分析提供了一个框架,用于确定可能希望如何评估结果,并显示结论如何取决于您对情况动态的假设。


我们对最初的受众几乎没有控制权。它可能并不代表我们更感兴趣的更大的人群(例如所有观众)。因此,绝对的意见数字是没有多大关系的:重要的是利率的人们可能会改变他们的想法。(从这些比率,我们可以估计出听众的数量如何变化,即使给出了有关他们最初意见的信息,即使听众中的观点比例与接受调查的演播室听众的比例不同。

因此,结果包括六种可能的观点变化和六种相关的变化率:

  • 我将用为其索引的那些“ for” 可以改变主意,并最终以速率与(具有索引)对抗,或者最终以速率 未确定(具有索引)。2 12 3 131,2a123a13

  • a21a23

  • a31a32.

aiii=1,2,3,i

A=(aij)x=(0.18,0.42,0.40)y=(0.23,0.49,0.28)=Ax。这是(受约束的)线性方程的欠定系统,在得出解中具有极大的灵活性。让我们看一下三种解决方案。

解决方案1:最少更改

A

A=(100.125010.175000.700).

12.5%17.5%

当您认为最初的派系坚强地接受了他们的意见,并且唯一可能改变主意的人属于最初宣布为不确定的派系时,这种模型将是合适的。

解决方案2:最小二乘

AL2||A||22=tr(AA)aii

A=(0.280.220.220.410.510.500.310.270.28).

22%27%41%31%50% 22%

1/3

解决方案3:罚最小二乘

AωiA

||A||22ω1a11ω2a22ω3a33

ω=(1,1,1/2)

A=(0.9100.170.030.930.230.060.070.60).

40%17%23%

摘要

在这种观点转变的过渡模型中,大多数解决方案方法表明在此特定示例中“反对”方面是赢家。没有任何有关变革动态的强烈意见,表明“反对”一方获胜。

(.20,.60,.20)(.30,.40,.30)20%30%40%30%。但是,(四舍五入的)最小二乘解至少表明,有一种可能的方式是辩论稍微偏向另一方!它是

A=(0.320.290.320.360.420.360.320.290.32).

36%29%(36%) 32%

附加评论

A

A


感谢您的详细帖子!我很担心,尽管所有这些方法都没有考虑未决定性因素并不是真正未决定性因素的可能性。
Wesley Tansey

他们可以灵活地考虑到您对这种可能性的担忧。您仍然需要做出(强有力的)假设:如果您认为它们不是真正决定的,则您将不得不估计哪个比例是“赞成”,哪个比例是“反对”(假设是愚蠢的)比例避开这种估计的一种方法-如果只是看结果可能是什么样的-避开这种估计的一种方法是选择一种解决方案,该解决方案可以奖励未定观点的人改变观点。
whuber

假设双方都处于两极分化状态,您对未定人员的MAP估计是否会成为赞成:反对的比率?
Wesley Tansey 2014年

在大多数情况下,很难支持这种假设。例如,消息灵通的人可能会有更大的犹豫不决的趋势,而且最终倾向于支持这两个职位之一的趋势也更大。“两极分化”假设的影响可能会如此强烈(尤其是在未定比例很大时),以至于在该点之外进行后续分析:结果主要是该假设的结果。对您来说,一个有用的思路是考虑收集有关未定人员的其他信息。
whuber

3

p(forafter,againstafter,undecidedafterforbefore,againstbefore,undecidedbefore)
0.5对于两个团队。请注意,决策规则仍然有多种选择,因为结果空间是二维的,但是,如果我们相信预测模型,那么就竞赛的公平性而言这无关紧要。例如,如果辩论后的赞成/反对比率超过其预测的中位数(以投票前为条件),则可以仅判定该小组获胜。

建立预测模型的想法

(P(forfor before),P(udfor before),P(agfor before))Dir(aff,auf,aaf)(P(forud before),P(udud before),P(agud before))Dir(afu,auu,aau)(P(forag before),P(udag before),P(agag before))Dir(afa,aua,aaa),
Paaaaff=aaaafu=aau

a


您能否通过示例扩展预测模型的概念?
Wesley Tansey 2014年

@WesleyTansey我意识到一个人可以用whuber的思想来考虑过渡概率,以便为我的回答构建一个预测模型。我已经对答案进行了编辑,以包含一些初步想法,但是我尚未尝试实现此想法,也未计划这样做。
Juho Kokkala 2014年
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.