Answers:
这本身并不是一个悖论,但至少在起初是令人困惑的评论。
第二次世界大战期间,亚伯拉罕·沃尔德(Abraham Wald)是美国政府的统计学家。他看着从任务返回的轰炸机,分析了飞机上子弹“伤口”的形态。他建议海军加强飞机没有损坏的区域。
为什么?我们有选择效应在起作用。该样本表明可以抵御在观察区域造成的损害。飞机从未在未触及的区域遭到打击,命中率极低,或者对这些零件的打击都具有致命性。我们关心坠落的飞机,而不仅仅是返回的飞机。那些倒下的人很可能在一个幸存者未受攻击的地方遭受了一次袭击。
有关他的原始备忘录的副本,请参见此处。有关更现代的应用程序,请参见《科学美国人》博客文章。
根据这篇博客文章的介绍,在第一次世界大战期间,扩大主题的范围是,与标准的布帽相比,铁皮头盔的引入导致更多的头部受伤。新头盔对士兵们不利吗?没有; 尽管伤害较高,但死亡人数较低。
另一个例子是生态谬误。
示例
假设我们通过对当时的参议员奥巴马的州中位数收入(以千为单位)进行回归来寻找投票与收入之间的关系。我们得到大约20的截距和0.61的斜率。
许多人会将此结果解释为说,高收入人群更有可能投票支持民主党;确实,大众媒体都提出了这一论点。
但是等等,我以为富人更有可能成为共和党人?他们是。
这种回归真正告诉我们的是,富裕国家更有可能投票赞成民主党,而贫穷国家更有可能投票赞成共和党。在给定的州内,富人更有可能投票给共和党,而穷人则更有可能投票给民主党。参见安德鲁·盖尔曼(Andrew Gelman)和他的合著者的著作。
如果没有进一步的假设,我们就无法使用组级别(汇总)数据来推断个人级别的行为。这就是生态谬误。组级数据只能告诉我们有关组级行为的信息。
为了跳到个人层次的推论,我们需要恒定的假设。在这里,个人的投票选择大多数不会随着州的中位数收入而系统地变化。在富裕国家赚取$ X 的人必须与在贫穷国家赚取$ X的人投票给民主党的可能性一样。但是,与处于相同收入水平的密西西比州的人们相比,在所有收入水平的康涅狄格州的人投票给民主党的可能性更高。因此,违反了一致性假设,并且得出了错误的结论(受聚合偏差的欺骗)。
这个话题是已故大卫•弗里德曼(David Freedman)的经常性爱好; 例如,参见本文。在那篇论文中,弗里德曼(Freedman)提供了一种使用组数据限制个人级别概率的方法。
与
CW中Simpson悖论的其他地方进行比较,@ Michelle确实提出了Simpson悖论作为一个很好的例子。辛普森悖论与生态谬误密切相关,但又截然不同。这两个示例在给定数据和所用分析的性质上有所不同。
辛普森悖论的标准公式是双向表。在这里的示例中,假设我们有个人数据,并且将每个人分类为高收入或低收入。我们将获得总计的按投票产生的2x2权变表。我们会看到,相对于低收入人群,有较高比例的高收入人群投票支持民主党。如果我们为每个州创建一个列联表,但是,我们会看到相反的模式。
在生态谬误中,我们不会将收入分解为二分(或可能是多分)变量。要获得州一级的数据,我们需要获得州收入的平均值(或中位数)和州投票份额,并进行回归分析,发现收入较高的州更有可能投票给民主党。如果我们保留个人级别的数据并按状态分别运行回归,则会发现相反的效果。
总而言之,区别是:
一般观察
@NeilG评论说,这似乎是在说您无法对不可观察变量/遗漏变量进行任何选择,从而使回归中的问题产生偏差。那就对了!至少在回归方面,我认为几乎任何“悖论”都只是被忽略的变量偏差的特例。
选择偏差(请参阅我对此CW的其他答复)可以通过包含驱动选择的变量来控制。当然,这些变量通常是未被观察到的,从而导致了问题/悖论。虚假回归(我的其他反应)可以通过添加时间趋势来克服。这些情况从本质上说,您有足够的数据,但需要更多的预测变量。
在生态谬误的情况下,的确是这样,您需要更多的预测变量(此处是特定于州的坡度和截距)。但是,您还需要更多的观察值,而不是小组级别的观察值,以估计这些关系。
(顺便说一句,如果您有极端选择,其中选择变量完美地划分了处理和控制,如我给出的第二次世界大战示例中所示,那么您可能还需要更多数据来估计回归;其中就是下降的平面。)
我的贡献是辛普森的悖论,因为:
很难解释为什么这些发现是他们用朴素的英语打人的方式。
tl;博士版本的悖论:结果的统计意义似乎取决于数据的划分方式而有所不同。原因似乎通常是由于混杂变量引起的。
悖论的另一个好的轮廓在这里。
统计数据中没有悖论,只有待解决的难题。
尽管如此,我最喜欢的还是两个信封“悖论”。假设我在您面前放了两个信封,并告诉您一个信封的钱是另一个信封的两倍(但哪个不是)。您的理由如下。假设左包络包含,则右包络包含2 x,概率为50%包含0.5 x,期望值为1.25 x。但是当然,您可以简单地反转信封并得出结论,相反,左信封包含右信封值的1.25倍。发生了什么?
该睡美人问题。
这是最近的发明。在过去的十年中,在少数哲学期刊中对此进行了广泛的讨论。有两个非常不同的答案的坚定支持者(“ Halfers”和“ Thirders”)。它提出了关于信念,概率和条件的性质的问题,并引起人们调用量子力学的“许多世界”的解释(在其他奇怪的事物中)。
这是维基百科的声明:
Sleeping Beauty志愿者接受以下实验,并被告知以下所有详细信息。周日,她入睡。然后将一个公平的硬币扔掉,以确定进行了哪个实验程序。如果真相大白,周一就要唤醒《美女》并接受采访,然后实验结束。如果硬币碰到了尾巴,她将在周一和周二被唤醒并接受采访。但是,当她星期一再次入睡时,会服用某种剂量的失忆症药物,以确保她不记得自己以前的觉醒。在这种情况下,实验在她星期二接受采访后结束。
任何时候唤醒睡美人并接受采访时,她都会被问到:“您现在对硬币落下的主张有何信心?”
第三者的立场是,SB应该回答“ 1/3”(这是一个简单的贝叶斯定理计算),而哈弗尔的立场是她应该回答“ 1/2”(因为这显然是公平硬币的正确概率! )。恕我直言,整个辩论都建立在对概率的有限理解上,但这不是探索表面悖论的全部目的吗?
(来自古腾堡计划的插图。)
尽管这里不是尝试解决悖论的地方,仅是陈述它们,但我不想让人们绞尽脑汁,而且我敢肯定,此页面的大多数读者都不想盲目地进行哲学解释。我们可以从ET Jaynes那里获得一些建议,他将问题“我们如何才能构建人类常识的数学模型”(为了思考“睡美人”问题而需要思考)替换为“我们如何构建机器”。遵循明确表达理想化常识的明确原则,这将进行有用的合理推理?”因此,如果您愿意,可以用Jaynes的思维机器人代替SB。你可以克隆在实验的星期二部分使用该机器人(而不是使用幻想的失忆药),从而创建了可以明确分析的SB设置的清晰模型。然后使用统计决策理论以标准方式对此进行建模,然后发现这里确实存在两个问题(公平硬币落在正面的几率是多少?硬币落在正面的几率是多少,前提是您是克隆谁被唤醒?)。答案是1/2(在第一种情况下)或1/3(在第二种情况下,使用贝叶斯定理)。此解决方案未涉及量子力学原理:-)。
Arntzenius,Frank(2002)。 关于睡美人的思考。分析62.1页53-62。埃尔加·亚当(Elga,Adam)(2000)。自我定位的信念和睡美人问题。分析60页143-7。
弗朗西斯·保罗(Franceschi,Paul)(2005)。 睡美人与世界减少问题。预印本。
Groisman,Berry(2007)。 睡美人噩梦的终结。
刘易斯,D(2001)。 睡美人:回复Elga。分析61.3 pp 171-6。
Papineau,David和Victor Dura-Vila(2008)。 三等奖和Everettian:对Lewis的“ Quantum Sleeping Beauty”的回应。
Pust,Joel(2008)。 霍根论睡美人。合成160 pp 97-101。
苏珊·维尼伯格(日期不详,也许是2003年)。 美的警示故事。
所有内容都可以在网上找到(或者至少在几年前找到)。
在杰弗里斯-林德利悖论,这表明在某些情况下默认的假设检验的频率论者和贝叶斯方法可以给出完全矛盾的答案。它确实迫使用户仔细考虑这些测试形式的含义,并考虑这是否是真正想要的。有关最近的示例,请参见此讨论。
有著名的两个女孩谬论:
在有两个孩子的家庭中,如果其中一个孩子是女孩,那么两个孩子都是女孩的机会是什么?
大多数人凭直觉说1/2
,但答案是1/3
。从根本上讲,问题是,从一个有一个兄弟姐妹的女孩中随机选择一个女孩,与从一个有两个孩子和至少一个女孩的家庭中选择一个家庭是不一样的。
一旦您理解了它,它就很容易与直觉相吻合,但是还有更复杂的版本,更难理解:
在一个有两个孩子的家庭中,如果一个孩子是在星期二出生的男孩,那么两个孩子都是男孩的机会是什么? (答案:13/27)
在一个有两个孩子的家庭中,如果一个孩子是一个名叫Florida的女孩,那么两个孩子都是女孩的机会是什么?(答案:非常接近1/2,假设“佛罗里达”是一个极为罕见的名字)
有关所有这些难题的更多信息,可以在此答案中找到。
(另外:有关星期二出生的男孩的更多信息,有关名为佛罗里达的女孩的更多信息)
1/3
不确定2/3
吗?只有一个GB, BG, GG
我的最爱之一是Monty Hall问题。 我记得我在一次基本统计课上对我讲过,告诉我父亲,因为我们俩都难以置信,所以我模拟了随机数,然后尝试了这个问题。令我们惊讶的是,这是事实。
基本上,问题在于,如果您在游戏节目中拥有三个门,其中一个是奖品,而另外两个则没有,则如果您选择一个门,然后被告知剩下的两个门,则两个中的一个不是奖品。并允许您切换选择(如果您这样选择),则应将当前门切换到其余门。
这也是R模拟的链接:LINK
帕龙多悖论:
摘自Wikipdedia:“ Parrondo的悖论是博弈论中的一种悖论,被描述为:失败策略的组合成为一种获胜策略。它以其创造者Juan Parrondo的名字命名,后者在1996年发现了这一悖论。 :
存在成对的游戏,每对都有比获胜更高的输球概率,可以通过交替玩游戏来构造获胜策略。
帕隆多设计了一个悖论,与他对布朗棘轮的分析有关,这是一项有关思想的实验,该机器据称可以从物理学家理查德·费曼(Richard Feynman)普及的随机热运动中提取能量。但是,经过严格分析,这一悖论消失了。”
还有一个最近的相关悖论称为“ 艾里逊混合 ”,它表明我们可以采用两个IID和非相关序列,并对其进行随机加扰,以便某些混合可以创建具有非零自相关的结果序列。
有趣的是,两个孩子问题和蒙蒂·霍尔问题经常在悖论的背景下一起被提及。两者都说明了一个明显的悖论,最早是在1889年出现的,称为贝特朗(Bertrand)的Box悖论,可以概括为两者之一。我发现这是一个最有趣的“悖论”,因为同样受过良好教育,非常有才智的人就这一悖论以相反的方式回答了这两个问题。它也与纸牌游戏(如桥牌)中使用的原理(称为“受限选择原理”)进行了比较,该原理的分辨率经过了时间的检验。
假设您有一个随机选择的项目,我称之为“盒子”。每个可能的框至少具有两个对称属性之一,但有些同时具有。我将属性称为“金”和“银”。一个盒子只是金的概率是P;由于属性是对称的,所以P也是盒子只是银色的概率。这样一来,一个盒子只有一个属性2P的概率以及一个盒子同时具有1-2P的概率。
如果告诉您一个盒子是金,而不是盒子是否是银,您可能会想说它只是金的机会是P /(P +(1-2P))= P /(1-P)。但是,如果您被告知是银色,则您必须为一个单色框声明相同的概率。如果只要告诉您一种颜色该概率为P /(1-P),即使您没有被告知一种颜色,该概率也必须为P /(1-P)。但是我们从上一段知道它是2P。
通过注意到如果一个盒子只有一种颜色,就不会对要告诉您什么颜色有歧义,从而解决了这种明显的矛盾。但是,如果有两个,则有一个隐含的选择。您必须知道如何做出选择才能回答问题,这就是明显的悖论的根源。如果不告诉您,则只能假定颜色是随机选择的,答案为P /(P +(1-2P)/ 2)= 2P。如果您坚持认为P /(1-P)是答案,那么您就隐含地假设除非唯一的颜色,否则不可能提到其他颜色。
在蒙蒂霍尔问题中,颜色的类比不是很直观,但是P = 1/3。基于原本同样有可能获得奖品的两个未打开的门的答案,假设蒙蒂·霍尔被要求打开他所做的门,即使他可以选择。答案是P /(1-P)= 1/2。对于切换获胜的可能性,允许他随机选择的答案是2P = 2/3。
在“两个孩子的问题”中,我所比喻的颜色与性别相当。在四种情况下,P = 1/4。要回答这个问题,我们需要知道如何确定家庭中有一个女孩。如果可以通过这种方法了解家庭中的男孩,则答案是2P = 1/2,而不是P /(1-P)= 1/3。如果您考虑使用佛罗里达(Florida)这个名字,或者“星期二出生”,则要复杂一些,但结果是相同的。如果有选择的话,答案就是1/2,而大多数问题的表述暗示了这样的选择。从1/3更改为13/27,或从1/3更改为“接近1/2”的原因似乎是自相矛盾和不直观的,是因为无选择的假设是不直观的。
在“限制选择原则”中,说您缺少一些等效的卡牌-例如同一套西装的Jack,Queen和King。即使任何特定的牌都属于特定的对手,也有机会开始。但是在对手玩了一张纸牌之后,他拥有另一张纸牌的机会就减少了,因为如果他拥有该张纸牌,他本可以玩这张纸牌。
我发现了一个关于生态谬论的简化图示(这里是富国/穷国的投票悖论),可以帮助我直观地理解为什么在汇总各州人口时为什么会看到投票方式发生逆转:
假设您获得了有关某个王国王室出生的数据。在家谱中记录了每个出生。这个家庭的特殊之处在于,父母只有在第一个男孩出生后才再生孩子,然后才试图生孩子。
因此,您的数据看起来可能与此类似:
G G B
B
G G B
G B
G G G G G G G G G B
etc.
这个样本中男孩和女孩的比例是否能反映出生男孩的一般可能性(例如0.5)?答案和解释可以在此主题中找到。
这再次是辛普森的悖论,但“后退”和前进都来自于朱迪亚·珀尔(Judea Pearl)的新书《统计中的因果推论:入门》 [^ 1]
经典的Simpon悖论的工作方式如下:考虑尝试在两名医生之间进行选择。您会自动选择效果最好的一种。但是,假设结果最好的人选择最简单的情况。对方较差的记录是艰苦工作的结果。
现在您选择谁?最好查看按难度分层的结果,然后再决定。
硬币的另一面(另一个悖论)说,分层结果也可能导致您选择错误。
这次考虑选择是否使用药物。该药物具有毒副作用,但是其治疗作用机制是通过降低血压。总体而言,该药改善了人群的预后,但按治疗后的血压分层时,无论是低血压组还是高血压组,其预后都较差。这怎么可能是真的?因为我们无意间对结果进行了分层,并且在每个结果中仅需观察的就是毒性副作用。
为了明确起见,想象一下该药是为修复破碎的心脏而设计的,它通过降低血压来做到这一点,而不是对血压分层,而是对固定的心脏分层。当这种药物起作用时,心脏就固定了(血压会降低),但是有些患者也会出现毒副作用。由于该药物有效,因此“固定心脏”组的患者服用药物的比例要多于“破碎”心脏组的患者。越来越多的患者服用该药物意味着更多的患者出现了副作用,并且对于不服用该药物的患者而言显然(但错误地)有更好的结果。
不吃药而好转的患者真是幸运。服用药物并使病情好转的患者是需要药物使病情好转的患者和无论如何都会很幸运的患者的混合物。仅检查“固着心”的患者意味着排除那些如果服用了药物就会被固定的患者。排除此类患者意味着将不服用药物的危害排除在外,这反过来又意味着我们只会看到服用药物的危害。
如果除了治疗之外还有其他原因导致辛普森悖论,例如您的医生只处理棘手的病例。通过控制常见原因(棘手的案例与轻松的案例),我们可以看到真正的效果。在后一个示例中,我们无意中对结果进行了分层,而不是对原因进行了分层,这意味着真正的答案是合计而不是分层数据。
[^ 1]:Pearl J.统计中的因果推论。约翰·威利父子公司;2016年
我的“最爱”之一,这就是使我对许多研究(常常是作者本人,而不仅仅是媒体)的解释感到疯狂的是生存偏见。
可以想象的一种方法是,假设有些效果对受试者非常有害,以至于有很大的机会杀死他们。如果受试者在研究之前就已暴露于这种效应,那么到研究开始时,仍然活着的暴露受试者极有可能具有异常的适应能力。从字面上看是自然选择。当发生这种情况时,研究将观察到暴露的受试者异常健康(因为所有不健康的受试者都已经死亡或确保不再暴露于这种效应),这通常被误解为暗示暴露实际上对受试者有益。这是忽略截断的结果 (即无视那些死去而未参加研究的受试者)。
同样,在研究期间停止暴露于这种效应的受试者通常也非常不健康:这是因为他们已经意识到,持续暴露可能会杀死他们。但是研究仅观察到那些戒烟者非常不健康!
@Charlie关于第二次世界大战轰炸机的回答可以被认为是一个例子,但是也有很多现代例子。最近的一个例子是研究报告,每天喝8杯以上的咖啡(!!)与55岁以上的受试者的心脏健康更高有关。包括该研究的作者在内,很多拥有博士学位的人都将其解释为“喝咖啡对您的心脏有好处!”。我读这篇文章是因为您必须拥有一颗非常健康的心脏,才能在55岁以后每天仍然喝8杯咖啡,并且不会心脏病发作。即使不会杀死您,当您的健康状况令人担忧的那一刻,所有爱您(包括您的医生)的人都会立即鼓励您停止喝咖啡。进一步的研究发现,在年轻的人群中喝太多的咖啡没有任何有益的作用,我相信这更多的证据表明我们看到的是生存效应,而不是积极的因果关系。但是,有很多博士在四处奔波:
尽管在决策理论中讨论得更多,但我还没有人提到Newcombe的悖论,这使我感到惊讶。绝对是我的最爱之一。