Bonferroni调整有什么问题？

我阅读了以下论文：Perneger（1998）Bonferroni调整有什么问题。

作者总结说，Bonferroni调整充其量仅在生物医学研究中有有限的应用，并且在评估有关特定假设的证据时不应使用：

总结要点：

• 根据研究数据进行的检验数量的统计显着性调整（Bonferroni方法）会产生比其解决的问题更多的问题
• Bonferroni方法与一般的零假设（所有零假设同时为真）有关，这对于研究人员来说很少有兴趣或使用。
• 主要缺点是对结果的解释取决于执行的其他测试的数量
• II型错误的可能性也增加了，因此真正重要的差异被认为是不重要的
• 简单描述已执行过哪些重要检验以及为什么进行检验，通常是处理多重比较的最佳方法

我有以下数据集，但我想进行多次测试校正，但在这种情况下我无法决定最佳方法。

我想知道是否必须对所有包含均值列表的数据集进行这种校正，在这种情况下，最佳的校正方法是什么？

除了其他人提到的保守主义之外，邦费罗尼修正案还出了什么问题，所有多重修正都出了问题。它们不遵循基本的统计原理，并且是任意的；在常人世界中，没有多重性问题的独特解决方案。其次，多重性调整是基于这样一种基本哲学，即一种陈述的准确性取决于接受哪​​些其他假设。这等效于贝叶斯设置，其中在考虑其他参数时，感兴趣参数的先验分布会越来越保守。这似乎并不连贯。可以说这种方法来自研究人员，他们被假阳性实验的历史“烧死”了，现在他们想弥补自己的错误行为。

为了进一步扩展，请考虑以下情况。肿瘤学研究者从事研究某类化学疗法功效的职业。她之前进行的所有20项随机试验均未显示统计学上的疗效。现在她正在同班中测试一种新的化学疗法。P = 0.04时，生存获益显着$P=0.04$。一位同事指出，还研究了第二个终点（肿瘤缩小），并且需要对生存结果进行多重调整，以使生存获益微不足道。同事如何强调第二个终点指标，却又不介意调整之前的20种寻找有效药物的失败尝试呢？如果您不是贝叶斯主义者，您将如何考虑有关20项先前研究的先验知识？如果没有第二个端点该怎么办。同事会否忽略了所有先前的知识，认为已经证明了生存益处？

他总结说，Bonferroni调整最多只能在生物医学研究中应用有限，在评估有关特定假设的证据时不应使用。

Bonferroni校正是最简单，最保守的多重比较技术之一。它也是最古老的之一，并且随着时间的推移已得到很大改进。可以说，几乎在所有情况下，Bonferroni调整的应用都受到限制。几乎肯定有更好的方法。也就是说，您将需要校正多个比较，但是您可以选择一种不那么保守且功能更强大的方法。

保守程度较低

多重比较方法可以防止在一系列测试中至少获得一个假阳性。如果您在水平上执行一项测试，则您有5％的机会获得假阳性。换句话说，您错误地拒绝了原假设。如果您在α = 0.05的水平上执行10次测试，那么这将增加至1 − （1 − 0.05 ）10 =〜40％的机会得到假阳性$\alpha$$\alpha = 0.05$$1-(1-0.05)^{10}$

随着Bonferroni方法您使用的在刻度的最低端（即α b = α / ñ）来保护您的家人ñ测试的α水平。换句话说，这是最保守的。现在，你可以增加α b上面由邦费罗尼下限设定（即让你的测试不太保守的），同时又能保护你的测试家人在α水平。有很多方法可以做到这一点，例如Holm-Bonferroni方法或更好的False Discovery Rate$\alpha_b$$\alpha_b = \alpha/n$$n$$\alpha$$\alpha_b$$\alpha$

更加强大

所引用的论文中提出的一个好处是，II型错误的可能性也增加了，因此，真正重要的差异被认为是不重要的。

这个非常重要。一项功能强大的测试可以发现重大结果（如果存在）。通过使用Bonferroni校正，您将得到一个功能较弱的测试。由于Bonferroni很保守，因此功率可能会大大降低。再次，一种替代方法，例如错误发现率，将增加测试的功效。换句话说，不仅可以防止误报，还可以提高发现真正重要结果的能力。

所以是的，当您进行多个比较时，应该应用一些校正技术。是的，应该避免使用Bonferroni，而应使用一种不太保守且功能更强大的方法

托马斯·佩内格（Thomas Perneger）不是统计学家，他的论文充满了错误。所以我不会太在意它。实际上，它已经受到其他人的严厉批评。例如，Aickin说Perneger的论文“几乎完全由错误组成”：Aickin，“存在用于调整多重测试的其他方法”，BMJ。1999年1月9日；318（7176）：127。

同样，即使没有多重调整，原始问题中的p值也不会小于0.05。因此，使用什么调整（如果有）可能无关紧要。

也许最好解释一下Bonferroni之类的多项测试更正中的“原因”。如果这很清楚，那么您将能够判断自己是否应该应用它们。

在假设检验中，人们试图找到有关真实世界的某些已知或假定事实的证据。这类似于数学中的“通过矛盾证明”，即如果要证明例如参数为非零，则人们将假定相反的事实成立，即，人们将H 0：μ = 0假定为对。在这种假设下，人们试图找到一些不可能的东西。在统计中，事情很少是不可能的，但它们是非常不可能的。 $\mu$$H_0: \mu=0$

$H_1: \mu \ne 0$$H_0: \mu = 0$$\alpha$

$H_0$$H_0$

$H_0$$H_0$$H_1$

虚假证据在科学上是一件坏事，因为我们相信已经获得了有关世界的真实知识，但实际上我们可能对样本不走运。因此，应控制此类错误。因此，应该对这种证据的概率设置一个上限，或者应该控制I型错误。这是通过预先确定可接受的显着性水平来完成的。

$5\%$$H_0$$5\%$$H_0$$H_1$$H_1$

$H_0: \mu_1=0 \& \mu_2=0$$H_1: \mu1 \ne 0 | \mu_2 \ne 0$$\alpha=0.05$

$H_0^{(1)}: \mu_1=0$$H_0^{(1)}: \mu_1 \ne 0$$H_1^{(2)}: \mu_2=0$$H_1^{(2)}: \mu_2 \ne 0$$\alpha=0.05$

$H_0^{(1)}$$H_0^{(1)}$

$1-(1-0.05)^2=0.0975$$\alpha$

重要的事实是，这两个测试是基于一个和样本样本进行的！

注意，我们假设了独立性。如果不能假设独立性，那么可以使用Bonferroni inequality $证明I型错误最多可以膨胀0.1。

请注意，Bonferroni是保守的，并且Holm的逐步过程与Bonferroni的假设相同，但是Holm的过程具有更大的功能。

当变量是离散变量时，最好使用基于最小p值的测试统计信息，并且如果您准备在进行大量测试时放弃I类错误控制，则错误发现率过程可能会更强大。

编辑：

如果例如（请参见@Frank Harrell的答案中的示例）

$H_0^{(1)}: \mu_1=0$$H_1^{(1)}: \mu_1 \ne 0$

$H_0^{(2)}: \mu_1=0$$H_1^{(2)}: \mu_2 \ne 0$

$H_0^{(12)}: \mu_1=0 \& \mu_2 = 0$$H_1^{(12)}: \mu_1 \ne 0 | \mu_2 \ne 0$ (i.e. the test that at least one of them has an effect) can be carried out by testing (on the same sample)

$H_0^{(1)}$ versus $H_1^{(1)}$ at the 2.5% level and also $H_0^{(2)}$ versus $H_1^{(2)}$ at the 2.5% level.

A nice discussion of Bonferroni correction and effect size http://beheco.oxfordjournals.org/content/15/6/1044.full.pdf+html Also, Dunn-Sidak correction and Fisher's combined probabilities approach are worth considering as alternatives. Regardless of the approach, it is worth reporting both adjusted and raw p-values plus effect size, so that the reader can have the freedom of interpreting them.

For one, it's extremely conservative. The Holm-Bonferroni method accomplishes what the Bonferonni method accomplishes (controlling the Family Wise Error Rate) while also being uniformly more powerful.

One should look at the "False Discovery Rate" methods as a less conservative alternative to Bonferroni. See

John D. Storey, "THE POSITIVE FALSE DISCOVERY RATE: A BAYESIAN INTERPRETATION AND THE q-VALUE," The Annals of Statistics 2003, Vol. 31, No. 6, 2013–2035.