p值真的是这样工作吗？每年一百万篇研究论文是否可以基于纯粹的随机性？

我是统计学的新手，我只是在学习理解基本知识，包括。但是我现在脑子里有一个很大的问号，我希望我的理解是错误的。这是我的思考过程：$p$

并非全世界的研究都像“无限猴子定理”中的猴子一样吗？考虑世界上有23887所大学。如果每所大学有1000名学生，那么每年就是2300万学生。

假设每个学生每年使用假设检验进行至少一项研究。$\alpha=0.05$

这并不意味着即使所有研究样本都是从随机种群中抽取的，其中约有5％会“拒绝原假设为无效”。哇。考虑一下。由于“显着”的结果，每年大约有一百万篇研究论文发表。

如果它是这样工作的，那就太恐怖了。这意味着我们理所当然的许多“科学真理”都是基于纯粹的随机性。

一个简单的R代码块似乎支持我的理解：

library(data.table)
dt <- data.table(p=sapply(1:100000,function(x) t.test(rnorm(10,0,1))$p.value))
dt[p<0.05,]

那么，这条成功的 -fishing：我骗了数以百万计，以为巧克力有助于减肥。这是方法。$p$

这真的就是全部吗？这是“科学”应该如何起作用的吗？

这当然是一个有效的担忧，但这不是很正确。

如果进行了1,000,000项研究，并且所有零假设都成立，那么大约50,000项将在p <0.05时产生显着结果。这就是ap值的意思。但是，从根本上讲，null永远不会严格为真。但是，即使我们将其放宽为“几乎是正确的”或“大约正确的”或类似的意思，这也意味着这100万项研究都必须涉及诸如

• 社会保障号码与智商的关系
• 脚趾的长度与出生状态有关吗？

等等。废话。

当然，麻烦之一是我们不知道哪些空值是正确的。另一个问题是他的评论中提到的@Glen_b-文件抽屉问题。

这就是为什么我非常喜欢罗伯特·阿伯森（Robert Abelson）在统计学中作为原则性论点提出的观点。也就是说，统计证据应作为关于为何如此的原则性辩论的一部分，并应根据MAGIC标准进行判断：

• 大小：效果有多大？
• 清晰度：是否充满“ ifs”，“ ands”和“ buts”（不好）
• 普遍性：适用范围有多广？
• 趣味性
• 可信度：难以置信的主张需要大量证据

并不是所有的研究都像“无限猴子定理”猴子那样吗？

请记住，科学家批判性地不同于无限的猴子，因为他们的研究行为（尤其是实验）绝不是随机的。实验（至少应该如此）是基于在大量先前研究的基础上基于机械知情假设而进行的难以置信的精心控制的操作和测量。它们不仅是黑暗中的随机镜头（或打字机上的猴子手指）。

考虑世界上有23887所大学。如果每所大学有1000名学生，那么每年就是2300万学生。假设每年每个学生至少进行一项研究，

对已发表研究成果的数量的估计必须相去甚远。我不知道世界上是否有2300万“大学学生”（是否只包括大学或学院？），但我知道他们中的绝大多数从未发表过任何科学发现。我的意思是，其中大多数不是科学专业的学生，​​甚至大多数科学专业的学生也从未发表过研究结果。

每年对科学出版物数量的更可能的估计（一些讨论）约为1-2百万。

这并不意味着即使所有研究样本都是从随机种群中抽取的，其中约有5％会“拒绝原假设为无效”。哇。想想看。由于“显着”的结果，每年大约有一百万篇研究论文发表。

请记住，并非所有已发表的研究都具有p值= 0.05时才有意义的统计数据。人们通常会看到p值，例如p <0.01甚至p <0.001。我不知道超过一百万篇论文的“平均” p值是多少。

如果它是这样工作的，那就太恐怖了。这意味着我们理所当然的许多“科学真理”都是基于纯粹的随机性。

还请记住，科学家真的不应该将p值在0.05左右的少数结果作为“科学事实”。差远了。科学家应该整合许多研究，每个研究都具有适当的统计能力，合理的机制，可再现性，影响的大小等，并将其纳入某种现象如何起作用的初步模型中。

但是，这是否意味着几乎所有科学都是正确的？没门。科学家是人类，容易遭受偏见，不良的研究方法（包括不正确的统计方法），欺诈，简单的人为错误和厄运。这些因素而不是p <0.05的惯例可能更能说明为什么已发表的科学论文的健康部分错误。实际上，让我们直接追逐，并做出比您所提出的还要“更刺眼”的声明：

为什么大多数已发表的研究结果都是错误的

$p$

$\alpha$

参见例如David Colquhoun最近对2014年论文的讨论：错误发现率与多重测试的混淆（在Colquhoun 2014年发表）。我一直在反对这个“至少30％”的估计，但是我确实同意在某些研究领域中，错误发现率可能比5％高很多。这确实令人担忧。

我认为说null几乎永远不会是true不会对您有所帮助；类型S和类型M错误（由安德鲁·盖尔曼（Andrew Gelman）引入）并不比类型I / II错误好得多。

我认为这的真正含义是，永远不要相信一个孤立的“重大”结果。

$\alpha\approx 10^{-7}$$\alpha=0.05$

$p<0.05$$p$

$p<0.05$

您的关注恰恰是当前有关可再现性的科学讨论中大量关注的关注。但是，实际情况比您建议的要复杂一些。

首先，让我们建立一些术语。零假设重要性测试可以理解为信号检测问题-零假设是正确还是错误，您可以选择拒绝还是保留它。下表给出了两个决策和两个可能的“真实”事务状态的组合，大多数人在初次学习统计信息时便会看到它们：

使用零假设重要性检验的科学家正在尝试使正确决策的数量最大化（以蓝色显示），并使错误决策的数量最小化（以红色显示）。在职的科学家还试图发布他们的结果，以便他们能够找到工作并发展自己的职业。

$H_0$

$H_0$

出版偏见

$\alpha$

$p$

研究员自由度

$\alpha$$\alpha$。考虑到存在大量可疑的研究实践，即使将名义率定为.05，误报率也可能高达0.60（Simmons，Nelson和Simonsohn，2011年）。

;需要注意的是使用不当研究员自由度（有时被称为一个可疑的研究实践是非常重要的马丁森，安德森和德弗里斯，2005年是）不一样的组成数据。在某些情况下，排除异常值是正确的做法，这是因为设备出现故障或其他原因。关键问题是，在存在研究人员自由度的情况下，分析过程中做出的决定通常取决于数据的结果（Gelman＆Loken，2014），即使相关研究人员尚未意识到这一事实。只要研究人员使用研究人员的自由度（有意或无意地）来增加取得重大成果的可能性（也许是因为重要结果更“可发布”），研究人员自由度的存在将使带有错误肯定的研究文献人口过多。与发布偏见相同。

上述讨论的一个重要警告是，科学论文（至少在我的领域是心理学方面）很少包含单个结果。更常见的是多项研究，每项研究都涉及多项测试-重点是建立更大的论据并排除现有证据的替代解释。但是，结果的选择性表示（或存在研究人员的自由度）可能像单个结果一样容易地在一组结果中产生偏差。有证据表明，即使这些研究的所有预测都是真实的，在多篇研究论文中给出的结果通常比人们的预期更清洁，更强大（Francis，2013）。

结论

从根本上讲，我同意您的直觉，即零假设重要性检验可能会出错。但是，我认为，造成误报率很高的真正罪魁祸首是诸如出版偏见和存在研究者自由度之类的过程。的确，许多科学家已经充分意识到了这些问题，提高科学的可重复性是当前讨论的一个非常活跃的话题（例如，Nosek和Bar-Anan，2012；Nosek，Spies和Motyl，2012）。因此，您的关心与您相处融洽，但我也认为，有些谨慎的乐观态度也是有原因的。

参考文献

Stern，JM和Simes，RJ（1997）。出版偏倚：临床研究项目队列研究中延迟出版的证据。BMJ，315（7109），640-645。http://doi.org/10.1136/bmj.315.7109.640

Dwan，K.，Altman，DG，Arnaiz，JA，Bloom，J.，Chan，A.，Cronin，E.，…，Williamson，PR（2008）。系统研究研究偏倚和结果报告偏倚的经验证据。公共科学图书馆，3（8），e3081。http://doi.org/10.1371/journal.pone.0003081

Rosenthal，R。（1979）。文件抽屉问题和对空结果的容忍度。心理通报，86（3），638–641。http://doi.org/10.1037/0033-2909.86.3.638

西蒙斯（JP），尼尔森（LD）和西蒙索恩（U）（2011）。假阳性心理学：数据收集和分析中未公开的灵活性允许呈现任何有意义的东西。心理科学，22（11），1359–1366。http://doi.org/10.1177/0956797611417632

BC省的Martinson，MS的Anderson和R.的de Vries（2005）。科学家表现不佳。Nature，435，737–738。http://doi.org/10.1038/435737a

Gelman，A.，＆Loken，E.（2014）。科学中的统计危机。美国科学家，102，460-465。

弗朗西斯·G（2013）。复制，统计一致性和发布偏差。数学心理学杂志，57（5），153–169。http://doi.org/10.1016/j.jmp.2013.02.003

Nosek，BA，＆Bar-Anan，Y.（2012年）。科学乌托邦：I.开放科学交流。心理研究，23（3），217–243。http://doi.org/10.1080/1047840X.2012.692215

Nosek，BA，Spies，JR，＆Motyl，M.（2012年）。科学乌托邦：II。调整激励措施和实践，以促进事实胜于发布。心理科学观点，7（6），615–631。http://doi.org/10.1177/1745691612459058

对这个问题提出的重要问题的实质检验是，“科学真理”不是建立在个别的，孤立的出版物上的。如果结果足够有趣，它将促使其他科学家继续研究结果的含义。这项工作将倾向于证实或驳斥最初的发现。在单个研究中，可能有1/20的机会会拒绝一个真实的零假设，但连续两次拒绝该假设的机会只有1/400。

如果科学家只是简单地重复实验直到发现“重要性”，然后发表他们的结果，那么问题可能就如OP所言。但这至少不是在我近50年的生物医学研究经验中科学才如此。此外，出版物很少涉及单个“重要”实验，而是基于一组相互关联的实验（每个实验都需要自己“重要”），这些实验共同为更广泛的实质性假设提供了支持。

一个更大的问题来自过于致力于自己的假设的科学家。然后，他们可能会过度解释单个实验的含义以支持其假设，进行可疑的数据编辑（例如任意删除异常值），或者（如我所见并帮助捕获的）只是构成数据。

然而，科学是一个高度社会化的过程，无论关于疯子科学家高高地藏在象牙塔中的神话。根据他们从他人的工作中学到的知识，成千上万追求自己利益的科学家的奉承和奉献是防止误报的最终制度保护。错误的发现有时可能会持续多年，但如果问题足够重要，则该过程将最终确定错误的结论。

只是为了增加讨论，这是一篇有趣的文章，以及随后的有关人们通常如何误解p值的讨论。

在任何情况下都应保留的是，p值只是衡量拒绝给定假设的证据强度的度量。p值绝对不是一个硬阈值，在该阈值以下是“ true”，在该阈值之上仅是偶然。如上述参考文章所述：

结果是真实效果和机会的结合，并非非此即彼

正如在其他答案中所指出的那样，如果您要选择性地考虑排除零假设的肯定结果，那么这只会引起问题。这就是为什么科学家在撰写评论文章时会考虑以前发表的研究结果，并试图以此为基础更好地理解该主题的原因。但是，仍然存在一个问题，这是由于所谓的“出版偏见”造成的，即科学家们更有可能写一篇关于积极结果的文章，而不是关于消极结果的文章，关于消极结果的论文也是比发表积极成果的论文更有可能被拒绝发表。

特别是在统计测试非常重要的领域，这将是一个大问题，医学领域就是一个臭名昭著的例子。这就是为什么必须在进行临床试验之前（例如在此处）进行注册。因此，您必须在试验开始之前说明设置，统计分析将如何执行等。如果领先的医学期刊报告的试验没有注册，他们将拒绝发表论文。

不幸的是，尽管采取了这种措施，该系统仍无法很好地运行。

这接近于关于科学方法的一个非常重要的事实：它强调可证伪性。当今最流行的科学哲学将卡尔·波普尔的可证伪性概念作为基石。

因此，基本的科学过程是：

• 任何人都可以随时声明他们想要的任何理论。科学将接受任何“可证伪的”理论。这个词的最直接的含义是，如果其他人不喜欢该主张，则该人可以自由地花费资源来证明该主张。如果您不认为菱形袜可以治愈癌症，则可以自由地使用自己的医疗病房来驳斥它。

• 由于此进入门槛极低，因此传统上，作为一个文化团体的“科学”在您做出“努力”来伪造自己的理论之前不会真正接受任何想法。

• 接受想法往往会分阶段进行。您可以将您的概念纳入一项研究且p值较低的期刊文章中。可以为您带来好处的是宣传和一定的信誉。如果某人对您的想法感兴趣，例如您的科学具有工程应用程序，那么他们可能想使用它。那时，他们更有可能资助另一轮的伪造。

• 这个过程始终以相同的态度进行：相信您想要的东西，但是要称其为科学，我需要能够在以后进行反驳。

如此低的准入门槛是使其如此创新的原因。所以是的，那里有大量理论上“错误”的期刊文章。但是，关键是理论上每篇已发表的文章都是伪造的，因此在任何时间点，有人都可以花钱进行测试。

这是关键：日记不仅包含通过合理的p检验的事物，而且还包含其他密钥，如果结果被证明是错误的，则其他人可以将其拆除。

这是“科学”应该如何起作用的吗？

这就是许多社会科学的工作方式。物理科学没有那么多。考虑一下：您在计算机上输入了问题。人们能够利用物理，化学和物理科学的其他领域的知识来构建称为计算机的这些复杂的野兽。如果情况如您所描述的那样糟糕，则所有电子设备都将无法工作。或想像像电子质量之类的东西，它以疯狂的精确度着称。它们经过计算机中数十亿个逻辑门，并且您的计算机仍然可以正常工作多年。

更新：为了回应我收到的反对票，我很高兴举几个例子。

第一个来自物理学：Bystritsky，VM等。“ 使用氘化锆靶在超低能区中测量天体S因子和p（d，γ）3He反应的截面。” 粒子与原子核物理学10.7（2013）：717-722。

$0.237 \pm 0.061$

我的下一个示例来自……心理学：Paustian-Underdahl，Samantha C.，Lisa Slattery Walker和David J. Woehr。“ 性别和领导效能感：对上下文主持人的荟萃分析。” 应用心理学杂志，2014年，第1期。99，第6号，1129 – 1145。

$\chi^2$

现在，查看论文中的一些表格，并猜测它们来自哪些论文：

这就是为什么在一种情况下您需要“很酷”的统计信息而在另一种情况下您不需要的统计信息的原因：因为数据不是很糟糕。当您拥有良好的数据时，除了标准错误外，您不需要太多统计信息。

UPDATE2：@ PatrickS.Forscher在评论中做了一个有趣的声明：

的确，社会科学理论比物理理论“更软”（不太正式）。

我必须不同意。在经济学和金融学中，这些理论根本不是“软”的。您可以在这些字段中随机查找一篇论文，并获得如下信息：

等等。

来自谢尔维什，马克·J。，泰迪·塞登费尔德和约瑟夫·卡丹。“ 期望效用理论的扩展和成对比较的一些局限性。” （2003）。这对您来说看起来柔软吗？

我在这里再次重申我的观点，即当您的理论不佳且数据糟糕时，您可以使用最困难的数学方法，但仍然会得出糟糕的结果。

在本文中，他们谈论的是效用，即幸福和满足之类的概念-绝对不可观察。这就像有房子还是吃芝士汉堡有什么用？大概有这个功能，您可以在其中插入“吃芝士汉堡”或“住自己的房子”，该功能将以某些单位显示答案。多亏冯·诺伊曼（von Neuman），这听起来很疯狂，这才是现代经济学的基础。