心理学杂志禁止使用p值和置信区间；停止使用它们确实明智吗？

2015年2月25日，《基本与应用社会心理学》杂志 发表社论，禁止所有未来论文发表和置信区间。$p$

他们具体说（格式和重点是我的）：

• [...]在发表之前，作者将必须删除NHSTP [无效假设重要性检验程序]的所有痕迹（，，，有关“重大”差异的陈述或缺乏它们的陈述） ， 等等）。$p$$t$$F$

• 类似于NHSTP如何无法提供原假设的概率（需要为原假设提供强有力的条件来拒绝它），置信区间并不能为推断所关注的总体参数可能在规定范围内提供强有力的条件。间隔。因此，BASP也禁止置信区间。

• [...]关于贝叶斯程序，我们保留根据具体情况做出判断的权利，因此，BASP也不要求也不禁止贝叶斯程序。

• [...]是否需要任何推论统计程序？- 否，但是，BASP将需要强大的描述性统计数据，包括效应量。

让我们在这里不讨论问题和滥用。浏览p值标记可以找到很多有关CV的精彩讨论。对的批判常常与建议一起报告感兴趣参数的置信区间有关。例如，在这个非常有争议的答案中， @ gung建议以周围的置信区间来报告效果大小。但是该杂志也禁止置信区间。$p$$p$

与采用，置信区间和显着/无关紧要的二分法的“传统”方法相比，这种呈现数据和实验结果的方法的优缺点是什么？对该禁令的反应似乎主要是消极的。那有什么缺点呢？美国统计协会甚至对该禁令发表了简短的令人沮丧的评论，称“该政策可能有其自身的负面影响”。这些负面后果可能是什么？$p$

还是正如@whuber建议的那样，这种方法是否应该被普遍提倡为定量研究的范例？如果没有，为什么不呢？

PS。请注意，我的问题与禁令本身无关；这是关于建议的方法。我也不是在问频率论者和贝叶斯论者。《社论》对贝叶斯方法也相当否定。因此本质上是关于使用统计信息与根本不使用统计信息。

其他讨论：reddit，Gelman。

OP链接到的当前2015年社论的第一句话如下：

2014年基础与应用社会心理学（BASP）编辑 *强调*原假设重要性检验程序（NHSTP）无效...

（我的重点）

换句话说，对于编辑来说，“零假设重要性检验”是无效的，这是一个已经被证实的科学事实，2014年社论只是强调了这一点，而当前的2015年社论只是实现了这一事实。

NHSTP的滥用（甚至是恶意使用）确实得到了充分的讨论和记录。而且在人类历史上，“事物被禁止”并不是闻所未闻的，因为已经发现，说完一切之后，它们被滥用的程度远远超过了有效利用的程度（但我们不应该对它进行统计检验吗？）。减少平均（推理统计数据）损失而不是收益的方法可能是“第二好的”解决方案，因此，我们预测（推理统计数据）将来也将有害。

但上面的第一句的措辞背后透露的热情，让这个看起来-exactly，作为一个狂热的做法，而不是冷静决定削减趋于窃取，而不是报价的手。如果阅读以上引用（DOI：10.1080 / 01973533.2014.865505）中提到的一年前的社论，就会发现这只是新编辑对《华尔街日报》政策的重新调整的一部分。

向下滚动社论，他们写道

...相反，我们认为p <.05 bar太容易通过，有时会成为低质量研究的借口。

因此，似乎他们的结论与他们的学科有关，是虚假假设被“经常”拒绝，因此所谓的发现可能具有虚假的统计意义。这是不相同的参数作为第一句中的“无效”的格言。

因此，为了回答这个问题，很明显，对于期刊编辑来说，他们的决定不仅明智，而且实施起来已经很晚了：他们似乎认为他们削减了统计数据的哪些部分变得有害，从而保持了统计数据的准确性。有益的部分-他们似乎并不认为这里需要用 “等效” 代替任何东西。

在认识论上，这是一个实例，社会科学的学者们通过使用定量方法使学科在方法和结果上变得更加客观的尝试而部分退缩了，因为他们得出的结论（如何？）最后，这种尝试造成了“弊大于弊”。我要说的是，这是一件非常重要的事情，原则上可能会发生，并且这需要花费大量的时间来证明它“超出合理的怀疑范围”，并且确实有助于您的纪律。但是，只有一两篇社论和论文很有可能（推论统计）引发内战。

2015年社论的最后一句话为：

我们希望并预期，通过将作者从NHSTP思维的结构中解放出来，从而禁止NHSTP将具有提高稿件质量的作用，从而消除了创造性思维的重要障碍。NHSTP主导了几十年的心理学。我们希望通过制定第一个NHSTP禁令来证明心理学不需要NHSTP的拐杖，而其他期刊也是如此。

我认为禁止假设检验是一个好主意，除了少数几个“存在”假设之外，例如，检验零假设，即没有超感官知觉，所有人都需要证明存在ESP的证据是非随机性。但是我认为该杂志没有指出心理学研究不力的主要驱动力是使用值的阈值。在心理学和其他大多数领域中已经证明，大量博弈继续达到。这包括假设替换，观察值删除和子集数据。应该首先禁止阈值。P < $P$$P < 0.05$

禁止置信区间也是过分的，但这并不是出于其他人陈述的理由。置信区间仅在误解为贝叶斯可信区间（适用于适当的非信息先验）时才有用。但是它们仍然有用。他们确切的惯常论者解释只会导致混乱，这实际上意味着我们需要“摆脱道奇”并去贝叶斯学或可能性学校。但是，通过误解良好的旧置信度限制可以获得有用的结果。

可惜的是，该期刊的编辑们误解了贝叶斯统计数据，却不知道存在纯似然推断。贝叶斯后验分布可以使用略有怀疑的先验轻松地提供他们想要的内容。

我将这种方法视为试图解决社会心理学无法复制许多先前发表的“重要发现”的尝试。

它的缺点是：

1. 它没有解决导致虚假效应的许多因素。例如，

   • A）人们仍然可以窥视他们的数据，并且当影响大小达到足以引起人们兴趣的程度时，就可以停止运行研究。

   • B）在效果的回顾性评估中，大型效果尺寸似乎仍然具有较大的效果。

   • C）人们仍然会出于有趣而巨大的影响而钓鱼（在实验中测试一堆假设，然后报告弹出的假设）或

   • D）假装一直以来都预期会出现意想不到的怪异效果。

   难道不应该首先解决这些问题吗？

2. 随着该领域的发展，它将使对过去发现的评论变得非常糟糕。无法定量评估不同研究的可信度。如果每个期刊都采用这种方法，那么当一堆完全未知的X令人难以置信时，就会有一群社会科学家说X有证据，而科学家们正在争论如何解释已发表的效应，或者争论它是否重要或有价值。在谈论。这不是统计数据的重点吗？提供评估数字的一致方法。我认为，这种新方法如果得到广泛实施，将会造成混乱。

3. 此更改不会鼓励研究人员提交效果大小小的研究结果，因此它并不能真正解决文件抽屉效果（或者不管效果大小如何，他们都将发布具有大n的发现？）。如果我们发布了经过精心设计的研究的所有结果，那么即使个别研究的结果可信度可能不确定，但是提供统计分析的研究的荟萃分析和评论在识别真相方面会做得更好。

我遇到了一个奇妙的报价，几乎可以证明同一点，但事实并非如此-因为这是教科书中的开篇，主要涉及常客统计学和假设检验。

像作者一样，非统计学家也普遍认为，如果您进行良好的实验，就不需要统计学。他们是正确的。[...]当然，缺点是很难进行良好的实验。大多数人声称自己喜欢的理论被无所作为的观察所证实，因此需要他们能获得的所有帮助，以防止他们自欺欺人。统计部分中处理重要性检验的主要功能是防止人们自欺欺人。从这个角度来看，意义测试的功能是防止人们发表实验，而不是鼓励实验。理想情况下，实际上，重要性测试应该永远不会出现在印刷品上，如果已经在初步阶段用于检测不足的实验，

-David Colquhoun，生物统计学讲座，1971年