Sidak还是Bonferroni？

13

我在SPSS中使用广义线性模型来研究16种不同植物上毛虫的平均数量差异（非正态，使用Tweedie分布）。

我想进行多个比较，但是不确定是否应该使用Sidak或Bonferroni校正测试。两种测试有什么区别？这个比那个好吗？

multiple-comparisons post-hoc bonferroni

— 艾米莉
source

1

我讨厌这样的事实，即标准的频率论假设检验经常需要进行这种校正，而我更喜欢贝叶斯技术。就是说，我讨厌Sidak修正案，因为它似乎是临时的（如果您愿意接受独立性的假设）。不过，这主要只是个人喜好，因此我将其设为评论而不是答案。

— Michael McGowan

1

@MichaelMcGowan：只是好奇，但是，你认为“什么特设 ”关于Bonferroni校正？

— 主教

@cardinal对不起，这可能不是单词的最佳选择。以需要更强大的假设为代价（我不想微不足道的代价），Sidak校正创建了一个具有更多定性含义的界限。除了根据Boole不等式的最坏情况下的界线外，我无法真正定性地解释界线在Bonferroni校正中代表什么。

— Michael McGowan

@MichaelMcGowan：好的。我知道了。我想对Bonferroni可以说一些定性的观点：（a）它提供了有保证的保护，以防止家庭错误率，而不受零值下各个测试统计数据之间的依赖关系；以及（b）是完全正确的更正当单个假设检验的拒绝区域成对不相交时进行。

— 红衣主教2012年

1

如果一项测试的I型错误概率与另一项测试的I概率相关，则两项测试不是独立的。例如，假设您使用一个控制条件和两个测试条件运行一个实验。将每个测试条件与对照条件进行比较的两个测试不是独立的。您可以考虑一下如果偶然获得控制条件的极高值会发生什么，就可以看到这一点。这将使这两个检验在统计上都更有可能具有显着性。

20

如果您使用作为您的显着性水平运行独立的统计检验，并且在每种情况下均获得null ，则是否会发现“显着性”仅仅是从随机变量中得出的。具体来说，它取自和的二项式分布。例如，如果您计划使用运行3个测试，并且（您不知道）每种情况实际上没有区别，那么在每个测试中有5％的机会找到有意义的结果。这样，I型错误率就保持为 $k$ $\alpha$ $p=\alpha$ $n=k$ $\alpha=.05$ $\alpha$ 对于单独的测试，但是在3个测试的集合中，长期I型错误率会更高。如果您认为将这3个测试分组/组合在一起很有意义，那么您可能希望将整个集合而不是单个集合的I型错误率保持在。你应该怎么做？有两种方法可以将原始（即）转换为新值（即）： $\alpha$ $\alpha$ $\alpha_o$ $\alpha_{\rm new}$

Bonferroni：调整用于评估“重要性” 的，以便 $\alpha$

α_{n e w} = \frac{α_{o}}{k}

$\alpha_{\rm new}=\frac{\alpha_{o}}{k}\qquad\qquad\quad$

Dunn-Sidak：使用调整 $\alpha$

α_{n e w} = 1 - (1 - α_{o})^{1 / k}

$\alpha_{\rm new}=1-(1-\alpha_{o})^{1/k}$

（请注意，Dunn-Sidak假设该集合中的所有测试彼此独立，并且如果该假设不成立，可能会产生家庭式I型错误膨胀。）

即进行测试时，还有的是要注意重要的两种错误要避免，I型（即，说有是一个差异，当没有一个）和II型（即，说有不实际存在差异）。通常，当人们讨论此主题时，他们只会讨论-并且似乎只知道/关心-I类错误。另外，人们常常忽略了提到，只有当所有空值都为真时，计算的错误率才会成立。显而易见的是，如果原假设为假，就无法犯I型错误，但是在讨论此问题时明确记住这一事实很重要。

我之所以提出这一点，是因为这些事实的含义似乎经常被忽略。首先，如果，则Dunn-Sidak方法将提供更高的功率（尽管当较小时，差异可能很小），因此应始终首选（适用时）。其次，应该使用“逐步降低”方法。也就是说，先测试最大的效果；如果您确信在这种情况下不会获得null，则类型I错误的最大可能数目为，因此应相应地调整下一个测试，依此类推。（这通常会使人不舒服，看起来像钓鱼，但事实并非如此。 $k>1$ $k$ $k-1$ 钓鱼，因为测试是独立的，因此您打算在看到数据之前进行测试。这只是最佳调整一种方法。） $\alpha$

无论您如何评价I型相对于II型错误，以上内容都适用。但是，先验没有理由相信类型I的错误比类型II的错误（尽管每个人似乎都假设这样）。相反，这是研究者必须做出的决定，并且必须针对特定情况。就个人而言，如果我运行理论上建议的先验正交对比，我通常不会调整。 $\alpha$

（并且再次说明这一点，因为它很重要，以上所有假设均假设测试是独立的。如果对比不是独立的，例如将几种治疗方法与同一个对照进行比较，则不同于调整的方法，例如Dunnett的测试。） $\alpha$

— gung-恢复莫妮卡
source

+1。您所说的Bonferroni的“逐步降级”方法是否完全等同于Holm-Bonferroni方法？如果是，那么应用于Dunn-Sidak的相同逻辑是否有名称？

— 变形虫说恢复莫妮卡

1

@amoeba，是的，有时它被称为“霍尔姆法”，因此称为Holm-Bonferroni或Holm-Sidak。

— gung-恢复莫妮卡

谢谢。我的另一个问题是关于您的陈述，即如果您运行理论上建议的先验正交对比，则通常不会调整。这里的“正交”有多重要？例如，如果您有6个主题组并将第2、3、4、5和6组与第1组进行比较（其中第1组可能是对照组），则这些是非正交的对比。在这种情况下，与对比确实是正交的（例如1-2、3-4、5-6）正交时，您对调整会有不同的感觉吗？如果是这样，为什么？

α

$\alpha$

α

$\alpha$

— 变形虫说恢复莫妮卡

@amoeba，先进行3个先验对比，在1个研究中进行正交对比与在3个不同研究中分别进行先验1个对比没有什么不同。由于没有人认为您需要针对后者进行家庭修正，因此没有一致的理由要求对后者进行修正。在您的另一个示例中，如果对照组应该仅靠偶然的机会跳得更低，那么您的5个对比中的每个对比都会看起来不错；但是如果您进行了5次独立研究，则不太可能发生。您实际上应该使用某种形式的调整，或者可以使用Dunnett检验。

— gung-恢复莫妮卡

我不完全了解。我使用和每个组中的值进行了快速仿真。如上所述，对于三个正交对比，我得到至少一个假阳性的机会为0.14，对于三个非正交对比，我得到0.12的机会。那非常接近。对于获得所有三个误报的可能性，差异要大得多：0.0001和0.002。因此，我知道，非矫正手术更有可能获得多个重大成果。与此相反，但如果涉及家庭错误率，那么这两种情况似乎几乎相同。

N (0, 1)

$\mathcal N(0,1)$

n = 10

$n=10$

α = 0.05

$\alpha=0.05$

— 变形虫说莫妮卡（

6

用表示校正后的显着性水平，然后Bonferroni的工作方式如下：将显着性水平除以测试次数，即。Sidak的工作方式如下（如果测试是独立的）：。 $\alpha^*$ $\alpha$ $n$ $\alpha^*=\alpha/n$ $\alpha^*=1 − (1 − \alpha)^{1/n}$

因为，所以Sidak校正功能更强大（即，您更容易获得明显的结果），但是Bonferroni的处理更简单。 $\alpha/n < 1 − (1 − \alpha)^{1/n}$

如果您需要更强大的过程，则可能需要使用Bonferroni-Holm过程。

— 桃木
source

为什么Bonferroni更容易处理？

— 艾米丽2012年

3

我发现将除以比计算更简单，但是我很懒。Bonferroni也不假设独立，因此在假设更少的意义上是“简单的”。但是您付出的代价是更加保守。

α

$\alpha$

n

$n$

1 - (1 - α)^{1 / n}

$1-(1-\alpha)^{1/n}$

— Momo 2012年

@Momo计算机真的非常擅长算术，因此我认为简单性的论点不是很引人注目。一百年前，手工进行计算是一个完全不同的故事。

— Michael McGowan

与我的答案相比+1，这很简洁；-)。

— gung-恢复莫妮卡

哈哈，这就是我想你的意思！非常感谢！

— 艾米丽

5

Sidak校正假设各个测试在统计上是独立的。Bonferroni校正不假定这一点。

— 一站
source

这是否意味着Bonferroni只是更保守的测试？

— 艾米丽

1

当两种测试均适用时，Bonferroni更为保守。但是，如果您的测试不是独立的，则不应使用Sidak。

— 2012年

2

+1 Bonferroni校正不要求测试独立，这是我没有讲的一个要点。

— gung-恢复莫妮卡

@onestop：测试是独立的意味着什么？你能举个例子吗？

— Gunnhild

1

Sidak校正不需要独立性。它仅假设测试不是负相关的。正向依赖关系很好。

— Bonferroni

4

Sidak和Bonferroni非常相似，因此无论使用哪种程序，您都可能得到相同的结果。Bonferroni比Sidak保守一点。例如，对于2个比较和0.05的家庭总alpha，Sidak将在.0253处进行每个测试，而Bonferroni将在.0250处进行每个测试。

该网站上的许多评论者都说Sidak仅在比较的测试统计数据独立时才有效。这不是真的。当测试统计数据为负相关时，Sidak允许略微增加家庭错误率，但是如果您正在进行双面测试，则通常不必担心负相关性。在非负依赖性下，Sidak实际上确实提供了全族错误率的上限。就是说，还有其他程序提供了这样的界限，并且比Sidak倾向于保留更多的统计能力。因此，Sidak可能不是最佳选择。

Bonferroni过程提供的一件事（Sidak没有提供）是严格控制预期的I型错误数-所谓的“每个家庭错误率”，它比家庭错误率更为保守。有关更多信息，请参阅：Frane，AV（2015）“每个家庭的I型错误率与社会科学和行为科学是否相关？” 现代应用统计方法杂志14（1），12-23。

— 邦费罗尼
source