单个研究人员应如何考虑错误发现率？

30

我一直在努力探索错误发现率（FDR）应该如何告知个别研究人员的结论。例如，如果您的研究动力不足，即使在结果显着，您是否应该打折呢？注意：我在谈论FDR时是在综合检查多项研究结果的背景下，而不是将其作为多项测试校正的方法。 $\alpha = .05$

使（也许大方）假设测试的假设实际上是真，FDR是两种类型的函数I和II型错误率如下： $\sim.5$

FDR = \frac{α}{α + 1 - β} .

$\text{FDR} = \frac{\alpha}{\alpha+1-\beta}.$

有理由认为，如果一项研究的能力不足，那么即使结果显着，我们也不应像进行充分研究的结果那样相信结果。因此，正如某些统计学家所说，在某些情况下，“长远来看”，如果遵循传统准则，我们可能会发布许多错误的重要结果。如果一项研究的特点是始终缺乏足够的研究能力（例如，前十年的候选基因环境相互作用文献），那么甚至有重复的重大发现也可能是可疑的。 $\times$

应用R包extrafont，ggplot2和xkcd，我认为这可能会有用地概念化为一个透视问题： 重大成果...

不太确定...

有了这些信息，研究人员下一步应该做什么？如果我猜测我正在研究的效应的大小（因此，鉴于我的样本量，则估计为），我是否应该调整我的水平直到FDR = .05？即使我的研究能力不足，我是否应该以水平发布结果，并将FDR的考虑留给文献消费者？ $1 - \beta$ $\alpha$ $\alpha = .05$

我知道这是一个在本网站和统计文献中都经常讨论的话题，但是我似乎无法就此问题达成共识。

编辑：响应@amoeba的评论，FDR可以从标准的I型/ II型错误率偶发表中得出（请避免其丑陋）：

|                            |Finding is significant |Finding is insignificant |
|:---------------------------|:----------------------|:------------------------|
|Finding is false in reality |alpha                  |1 - alpha                |
|Finding is true in reality  |1 - beta               |beta                     |

因此，如果为我们提供了一个重要发现（第1列），那么实际上它是错误的机会就是该列总和的alpha。

但是可以，我们可以修改FDR的定义，以反映给定假设为真的（先前）概率，尽管研究能力仍然起作用： $(1 - \beta)$

FDR = \frac{α \cdot (1 - prior)}{α \cdot (1 - prior) + (1 - β) \cdot prior}

$\text{FDR} = \frac{\alpha \cdot (1- \text{prior})}{\alpha \cdot (1- \text{prior}) + (1-\beta) \cdot \text{prior}}$

— 理查德·博德
source

它可能不会给您确定的问题的肯定答案，但是您可能会在本文中找到启发。

— JohnRos

1

您最近链接到本文的David Colquhoun的论文（@DavidColquhoun亲自参加了讨论）已经在这里进行了讨论，您可能有兴趣看看。

— 变形虫说恢复莫妮卡2015年

2

α

$\alpha$

β

$\beta$

2

p = 0.5

$p=0.5$

p

$p$

p = 0

$p=0$

prior = 1

$\text{prior}=1$

1

$1$

1

α

$\alpha$

6

$p$

相反，重要的是要获得所有研究，无论功率水平或重要结果如何。实际上，仅发布重要和隐藏非重要结果的不良习惯会导致发表偏见并破坏科学结果的整体记录。

因此，即使出版期刊未要求，个人研究者也应以可重复的方式进行研究，保留所有记录并记录所有实验程序。他不应该太担心低功率。只要一个人本身能够提供足够质量的数据，即使是非信息性的结果（=否定假设也不会被拒绝）也会增加更多的估计数以供进一步研究。

$p$ $p$ $p$

— 霍斯特·格伦布施
source

霍斯特，您似乎在回答的问题与提出的问题不同。

— 亚历克西斯

1

注意，问题在于研究之间的FDR，而不是内部。这涉及某种贝叶斯方法，以便获得可接受的正确决策总体比率。我的回答强调，总的判断是通过汇总研究数据和估计而不是决策来完成的，因此只要单个研究的数据（而非决策）可靠，就可以通过创建一个巨大的“虚拟研究”来解决问题。

— HorstGrünbusch2015年

6

$\alpha$ $\alpha=.05$

$\alpha$

$p<0.05$ $p\approx 0.05$ $p$ $p\ll 0.05$ $p$ -value将再次很小）。

$\alpha$

— 变形虫说恢复莫妮卡
source

5

这实际上是一个深层的哲学问题。我本人是一名研究员，对此已经思考了一段时间。但是，在回答之前，让我们仔细检查一下错误发现率是多少。

FDR与P P只是在完全没有差异且不考虑功效的情况下说存在差异的可能性的度量。另一方面，FDR考虑了功率。但是，为了计算FDR，我们必须做一个假设：我们收到真实阳性结果的概率是多少？这是我们永远无法获得的东西，除非在高度人为的情况下。实际上，我最近在一次研讨会上谈到了这一点。您可以在此处找到幻灯片。

这是David Colquhoun 关于该主题的论文中的一个图：

Calquhoun 2014

错误发现率的计算方法是将错误肯定的数量除以真实肯定和错误肯定的总和（在示例中为495 /（80 + 495）x 100％= 86％！

在P上多一点

仔细看一下我演讲中的幻灯片。我讨论了P值是从分布中得出的事实。这意味着您总有机会发现误报。因此，不应将统计意义视为绝对真理。我认为具有统计意义的内容应解释为“嘿，这里可能有一些有趣的东西，我不确定，有人仔细检查！” 因此，研究可重复性的基本概念！

那么我们该怎么办？ 好吧，关于上图和我对P和FDR的分析，有趣的一点是，我们唯一能够清楚理解的方法是：1）重现性和2）发布所有结果。这包括负面结果（即使负面结果很难解释）。但是，我们从结果中得出的结论必须适当。不幸的是，许多读者和研究人员并未完全理解P和FDR的概念。我认为适当分析结果是读者的责任……这意味着负担最终将由教育者承担。毕竟，如果“患病率”（参见上图）为0（在这种情况下，错误发现率为100％），则0.000000001的P值就毫无意义。

作为出版研究人员，请小心谨慎以充分理解您的结果，并仅根据自己的意愿提出主张。如果事实证明您的特定研究的FDR为86％（如上述示例），那么您在解释时应格外小心。另一方面，如果FDR足够小以使您感到舒适....仍请注意您的解释。

我希望这里一切都清楚。这是一个非常重要的概念，很高兴您提出了讨论。让我知道您是否有任何疑问/疑虑/等。

— 另一脑
source

1

@Alexis没有像学习过强的东西！只要注意到效应的大小，就可以通过进行更大样本量的研究来更紧密地定义效应的大小，这不会有任何危害。在我看来，“过大”的概念与空泛的观念联系在一起，即人们可以通过查看P值而不查看观察到的数据来做出有用的推论。

— 迈克尔·卢

1

@MichaelLew：正确的是，如果您始终将估计的效应大小与p值一起考虑，可以（部分）解决超支问题。但是，这有点打乱了p值的目的：将效果估算器映射到二进制测试结果“存在/不存在效果”，以使I类错误率得到纠正。同样，您看到的p值可能会改变相关效果的大小。因此，实际上最好是预先预先确定一个相关的作用范围，然后将其与研究CI进行比较，以解决该问题，正如Alexis所建议的那样。

— HorstGrünbusch'15

1

@MichaelLew您假设一个空的假设值 实际上可以存在。就这样

θ

$\theta$ 实际上可以精确地等于零，而不是非常接近于零的值范围。正如链接问题的描述中所述，经常性测试确实偏向于将重要的几乎为零的度量视为对待。解决这一难题的唯一方法（在频繁测试范围内）是明确解决相对较大的影响大小。而且，如果我弄错了，那我就很好。：D

— 亚历克西斯2015年

1

在某种程度上...我严格来说是从统计推断方面讲的，而您在讲的更多是关于研究设计的逻辑和产生科学知识的本体的知识。就是说，我觉得没有经过足够谨慎的协议等解释的积极发现与否定发现一样有可能是虚假的。并非所有的宇宙现象都适合孤立地研究（例如，个人健康和人口健康同时是化学，社会，行为等），因此本体不确定性必须伴随着对这种复杂系统的研究。

— 亚历克西斯2015年

2

@HorstGrünbusch我不认为原始问题是在混合环境中设置的，因为它处理的是alpha和beta，而不是P值。但是，justanotherbrain的答案当然需要进行仔细的重新设计，才能将其仅放置在Neyman＆Pearson框架或重要性测试框架中。错误发现率实际上仅属于前者。

— Michael Lew

3

为了帮助理解这些关系，我创建了该FDR图，将其作为各种功效的先验概率的函数（α= 0.05）。请注意此图，@ Buckminster方程将为所有小于P的结果计算FDR。如果您仅认为P值非常接近您在一项研究中观察到的P值，则该图看起来会有所不同。

— 哈维·莫图尔斯基
source

2

这是一个Shiny应用程序版本（尽管有些不同）：buckminster.shinyapps.io/FalseDiscoveryRate

— 理查德·博德

1

建议发表是一个决定。我认为值得研究与该决定相关的收益和成本。

1）学术环境普遍推动研究人员发表更多论文，认为出版物的各种排名也会影响该记录。我们可以假设更多的著名期刊可能会进行更强大的质量检查（我希望如此）。

2）出版物生产过多可能会带来社会成本。这些资源可能会更好地用于其他地方，例如在没有成果发表的应用研究中。最近有一种出版物，因为大量新出版物如此之多，许多出版物作为来源并不重要... :)

http://arxiv.org/pdf/1503.01881v1.pdf

对于单个研究人员，第一力量要发表更多的论文，我认为应该进行制度化的质量检查，这种检查不依赖于各个民族，以使质量保持在可接受的水平。

无论如何，您的参数值都不是事实，必须在考虑结果真实或错误的情况下，考虑与发布的结果数量相关的各种成本和收益，为这些参数赋予值。

— 分析员
source