使用p <0.001，p <0.0001甚至更低的p值的研究示例？

11

我来自社会科学，其中p <0.05几乎是常态，p <0.1和p <0.01也会出现，但我想知道：哪些研究领域（如果有的话）使用较低的p值是常见的标准？

statistical-significance p-value

— 神父
source

9

我的观点是，它确实（也不应该）取决于研究领域。例如，你可能会在一个较低的显着性水平比工作，，如果，例如，你想复制与历史或成熟结果的研究（我在想一些研究的Stroop效应，这导致过去几年的一些争议）。这相当于在经典Neyman-Pearson框架中考虑假设的较低“阈值”。但是，统计和实际（或实质）意义是另一回事。 $p<0.001$

旁注。早在70年代，“星系”似乎就占据了科学研究的主导地位，但请参见J. Cohen 撰写的《地球是圆形的》（p <.05）（美国心理学家，1994，49（12），997-1003），尽管事实是我们经常想知道的是我观察到的数据，但是为真的概率是多少？无论如何，Jerry Dallal 也对“ 为什么P = 0.05？ ”进行了很好的讨论。 $H_0$

— hl
source

请纠正我的思路：某些领域可能专注于生化暴露，因此希望使用p <0.001以防止可能导致健康危害的任何I型错误。另外，在Am Psych的这篇文章中，我还记得在Sociol的Am J或我关注的一本社会科学期刊中进行的出色研究。我最喜欢的当然是Ziliak和McCloskey。

— 神父

1

您在这里描述的内容听起来很倒。我会担心II型错误，因为生化暴露会导致某些错误。在这种情况下，我可以将Alpha设置为更高，而不是更低。

— 约翰

我当时假设测试的形式为：“让我们评估妊娠是否与HRT有关”（在这种情况下，I型错误比II型错误更严重，但也许这种设计是非标准的）。

— 神父

7

可能很少有人会使用低于0.01的预先指定的alpha值，但是人们错误地认为所观察到的P值小于0.01时，声称隐含的alpha值小于0.01的情况并不罕见。 0.01与小于0.01的Neyman-Pearson alpha相同。

Fisher的P值与Neyman-Pearson错误率不同或不可互换。并不意味着除非设计实验时决定使用作为显着性的临界水平。如果您认为是有效的，则意味着存在的误报率。 $P = 0.0023$ $\alpha = 0.0023$ $0.0023$ $P = 0.05$ $P = 0.0023$ $0.05$

看看Hubbard等。古典统计测试中证据度量（p's）与误差（α's）的混淆。美国统计师（2003）卷。57（3）

— 迈克尔·卢
source

我理解这种区别，尽管我可能经常犯错误。但是我的问题是，例如p <.0001是否存在任何常规用法？或者，说起来很讽刺，p <.05邪教是普遍的吗？

— 神父

P <0.05的“邪教”可能几乎是普遍的，但是对于这一点上的任何断言都没有信心，因为明显的例外很可能是不知道Fisher和Neyman-Pearson方法杂交的结果。在基本的药理研究论文中，几乎没有关于使用Neyman-Pearson错误率的明确陈述。

— Michael Lew

谢谢你的例子。由于许多（并非所有科学原因），我对药理学研究的印象越来越少……

— 神父。

1

您不应该将我对基础药理学研究的评论视为对该领域的特定批评，这只是我自己的特定学科，因此也是我经验最丰富的学科。我相信您会发现基础研究的许多领域在混合P值和错误率方面都有完全相同的缺点。

— Michael Lew

不用担心，我可以轻松地想象到这种缺点在各个查询领域都可以很好地传播。

— 神父

3

我对这些文献不是很熟悉，但是我相信一些物理学家在统计测试中使用的门槛要低得多，但是他们谈论起来却有所不同。例如，如果度量是与理论预测的三个标准偏差，则将其描述为“三个西格玛”偏差。基本上，这意味着目标参数在统计学上与a = 0.01的az测试中的预测值不同。两个西格玛大约等于α= 0.05（实际上是1.96σ）。如果我没记错的话，物理学中的标准误差水平为5 sigma，即α= 5 * 10 ^ -7

同样，在神经科学或流行病学中，常规执行多次比较的校正似乎越来越普遍。因此，每个单独测试的错误级别可以低于p <.01

— 晚会
source

1

α = 5 \times 10^{- 8}

$\alpha=5\times10^{-8}$

1

正如盖尔·劳兰斯（GaëlLaurans）指出的那样，上述涉及多重比较问题的统计分析倾向于使用更为保守的阈值。但是，从本质上讲，它们使用的是0.05，但要乘以测试次数。显然，此过程（Bonferroni校正）可以迅速导致难以置信的小p值。这就是为什么过去（神经科学领域）的人将p <0.001停下来的原因。如今，使用了其他多个比较校正方法（请参阅马尔可夫随机场理论）。

— 用户名
source