Fisher的LSD是否像他们所说的那样糟糕？

当我们在两组上进行实验（小样本量（通常每个治疗组的样本量约为7〜8））时，我们使用t检验来检验差异。但是，当我们执行方差分析（显然用于两个以上的小组）时，我们使用类似Bonferroni（成对比较的LSD /＃）或Tukey的方法，并且作为一名学生，我已经被警告远离使用费舍尔最小有效差（LSD）。

现在的问题是，LSD类似于成对t检验（是吗？），因此它唯一不能解释的是我们正在进行多次比较。如果说ANOVA本身很重要，那么当与6个小组打交道时，这有多重要？

换句话说，使用Fisher的LSD是否有科学/统计上的理由？

Fisher的LSD确实是一系列成对的t检验，每个检验都使用显着方差分析的均方误差作为汇总方差估计（并自然采用相关的自由度）。方差分析的重要性是该测试的另一个约束。

仅在3组的特殊情况下，它将家庭错误率限制为alpha。Howell在他的《行为科学基础统计学》（第8版）David C. Howell的第16章中对如何做到这一点有一个很好且相对简单的解释。

超过3个组，alpha迅速膨胀（如@Alexis上文所述）。这不一定适合6个小组。我认为正是这种有限的适用性导致大多数人建议忽略它。

与6个小组打交道时，多重比较有多重要？好吧...有六个小组，您最多要处理可能的事后成对比较。我将让无法估量的Randall Munroe谈及多重比较的重要性：$\frac{6(6-1)}{2} = 15$

而且我要补充的是，如果像您在开场白中所说的那样，您建议有时您有七个组，那么事后成对测试的最大数量为$\frac{7(7-1)}{2} = 21$

从Neyman-Pearson的角度来看，Fisher的测试就像每个人所说的一样糟糕，如果您按照问题的意思去做–在进行了显着的方差分析后，每个个体的差异都很大。您可以在许多已发表的 论文中看到这一点。但是，既无必要也不建议对在方差分析或其中任何一项之后进行的所有差异进行测试。而且，费舍尔的测试不是根据统计推断的内曼-皮尔逊理论进行的。

重要的是要记住，当费舍尔提出LSD时，他并没有真正将多重测试视为一个重要问题，因为他没有将有效期截止视为决定结果是否重要的​​硬性规定。可以将LSD构造为一种在可能产生重大结果的地方细读数据的简便方法，而不是有意义的仲裁者。记住，费舍尔曾说过，如果p > 0.05 ，您应该开更多的科目。

您为什么认为测试所有内容是个好主意？考虑一下为什么要首先运行ANOVA。您可能被告知这是因为在您亲密提问时，运行多个t检验是有问题的。那为什么还要运行它们，或者以后运行它们呢？我知道会发生这种情况，但在进行方差分析后我还不需要进行测试。方差分析告诉您数据模式不是一组相等的值，那里可能有一些含义。许多人都对警告保持警惕，即测试不会告诉您有意义的位在哪里，但是他们忘记了数据和理论告诉您这一点。

Fisher的LSD背后的推理可以扩展到N = 3以上的情况。

我将详细讨论四个小组的情况。为了使家庭I型错误率保持在0.05或以下，多重比较校正因子3（即每次比较的alpha为0.05 / 3）就足够了，尽管四组之间有六次事后比较。这是因为：

• 如果所有四个真实均值都相等，则四组的综合方差分析将家庭错误率限制为0.05；
• 如果三个均值相等且第四个均值不同，则只有三个比较可能会产生I型错误；
• 如果两个真实均值相等且彼此不同的其他两个均等，则只有两个比较可能会产生I型错误。

这耗尽了可能性。在所有情况下，对于均数均等的组，发现一个或多个 p值低于0.05 的概率，如果多次比较的校正因子为3 ，则该概率保持在0.05或以下，这就是族错误率的定义。

对于四组的这种推理是费舍尔对其三组最小有效差方法的解释的概括。对于N组，如果综合Anova检验有效，则校正因子为（N -1）（N -2）/ 2。因此，以N（N -1）/ 2 为因数的Bonferroni校正太强。它足以使用的1的α校正因子Ñ = 3（这就是为什么Fisher的LSD适用于Ñ = 3），3为一个因子Ñ = 4，6为一个因子Ñ = 5，10为一个因子N = 6，依此类推。