错误使用统计工具造成的高成本后果的例子

我怀疑统计工具的大多数用户是辅助用户（没有或没有经过正规统计学培训的人们）。对于研究人员和其他专业人员来说，将统计方法应用于他们的数据非常诱人，因为他们在同行评审的论文，灰色文献，网络或会议上已经“先于”看过它们。但是，如果没有对所需的假设和统计工具的局限性有清楚的了解，则会导致错误的结果-错误通常是无法识别的！

我发现，本科生（尤其是社会科学和自然科学专业的学生）要么没有意识到统计学上的陷阱，要么发现这些陷阱没有什么意义（后者通常是这种情况）。尽管可以在许多入门级教科书，网络或StackExchange中找到不当使用统计工具的示例，但我很难找到具有不利结果的现实示例（例如，以美元计的成本，受影响的生命和失去的职业） 。为此，我正在寻找真实的例子，这些例子突出了对统计方法的滥用：

1. 统计入门课程通常涵盖所使用的统计方法（即推断统计，回归等）。
2. 最终结果带来了高昂的后果（美元损失，生活受到影响，职业崩溃等等）。
3. 这些数据随时可以用作课程中的工作示例（目的是让学生通过对现实世界产生影响的现实示例进行研究）。

在讨论在研究项目中正确定义单位的重要性时，我想举一个非统计的例子，这是“度量事故”，导致损失了1.25亿美元的卫星！这通常会引起学生的：-o因素，并且似乎具有持久的印象（至少在他们短暂的学习生涯中如此）。

我不确定数据的可用性，但是统计学不佳的一个很好的例子（如果是正确的话）是哈佛护士对绝经期女性激素替代疗法（HRT）有效性的研究。

一般想法是什么？护士研究表明，HRT对绝经后妇女有益。事实证明，出现此结果是因为对照组与治疗组有很大差异，而这些差异并未在分析中得到解释。在随后的随机试验中，HRT与癌症，心脏病，中风和血液凝块有关。通过适当的更正，护士的研究也揭示了这些模式。

我找不到有关HRT的美国死亡人数的估计，但数量级为数万。一篇文章将英国1000例死亡与HRT相关联。

此纽约时报杂志文章提供了在研究中混杂存在的问题，良好的统计背景。

本期《美国流行病学杂志》有一个学术讨论。文章根据随机试验将护士观察性研究的结果与妇女健康倡议的结果进行了比较。

在同一时期的Biometrics中也有讨论（由许多相同的人进行），请参见Freedman和Petitti的评论，特别是[ prepub版本 ]。

1933年Horace Secrist出版的《商业中庸之道》（Triumph of Mediocrity in Business）提供了一个极好的历史例子。当时，塞克里斯（Secrist）是一位经验丰富的统计学家，是一本教科书的作者（我记得大约是1919年），在美国统计协会（American Statistics Association）具有良好的联系，并且是西北大学统计研究小组的负责人。在过去的十年中，他和他的员工一直在编辑业务数据的时间序列，书中对这些数据进行了复制和精心分析。它本来是一位雄心勃勃的统计学家的主厨。

哈罗德·霍特林（Harold Hotelling）对该书的评论（该书于当年晚些时候在JASA上发表）指出，塞克里斯特仅记录了数百个均值回归的示例（当今任何入门统计学课程的基本主题，问题的第一点）。塞克里特在公开答复中表示反对。Hotelling对此的回应很经典：

通过昂贵且长期的数值研究来“证明”这样的数学结果……类似于通过将大象排成一排并排成一列，然后对许多其他种类的动物进行处理来证明乘法表。表演虽然有趣，但具有一定的教学价值，对动物学或数学都不是重要的贡献。

[JASA v。29＃186，1934年6月，第 199.]

在那之后不久，西克里斯特似乎很快就从统计舞台上消失了（“职业被毁，”问题中的第二点）。他的书仍然可用。（几年前，我通过馆际互借获得了一个很好的干净副本，显然很少读。）从中可以提取任意数量的示例数据集（问题的第3点）。

史蒂芬·斯蒂格勒（Steven Stigler）在书和论文《 1933年的统计史》中叙述了这个故事。

在我看来，《连线》杂志对2008年股市崩盘的看法可能是一个很有启发性的例子。无法断定其结论是否正确，但对数据不使用代表性样本进行关联的想法似乎适合您的情况。它也是最新的，因此可能会使他们感兴趣。

我认为您可能会觉得Ted Talk有趣而相关：

• http://www.ted.com/talks/ben_goldacre_battling_bad_science.html