对于“假设族”（关于家庭错误率），可能有一个清晰，实用的定义？

尝试评估实验/项目/分析中的假设族的构成时，我发现“目的相似”和“内容相似”作为划定族的指导原则，但这些都为解释提供了很大的开放空间（至少可以说）。

似乎很明显，如果在分析过程中，我对组均值进行了几次检验，对比例均一性进行了另一批检验，那么我就不会将所有东西捆绑在一起成为一个假设家族。

但是，如果我有几批关于组均值的测试，那么什么标准可以将它们组合成一个家庭（或将它们分成不同的家庭）？一个家庭的所有成员都应该具有相同的响应变量吗？如果我的回答变量不同，但涉及的案件相同，那么所有这些都将捆绑成一个假设族吗？

多重比较是一个非常大的话题。有许多意见和分歧。这是由于很多原因。除其他外，部分原因是该问题确实很重要，部分原因实际上是没有最终规则或标准。以一个典型的案例为例：您进行了治疗的实验并获得了显着的ANOVA，因此现在您想知道哪种治疗方法会有所不同。您应该如何进行 t检验？尽管这些测试将单独设置为.05，但“家庭式”（即，至少发生1种I型错误的可能性）将会爆炸。实际上，家庭错误率将是$k$$k(k-1)/2$$\alpha$$\alpha$$1-(1-\alpha)^k$。问题是，什么定义了“家庭”？除了琐碎的回答，“家庭”是一系列对比之外，没有最终的答案。是否应将任何特定的对比集视为一个家庭是一个主观决定。我一生中进行的第三次，第十七次和第42次分析是一组对比，我可以调整阈值以确保其中的I型错误概率保持在5％，但没有人会发现这很有意义。您面临的问题是，您是否认为对比是有意义的集合，只有您才能做出判断。我将提供一些标准方法。许多分析师认为，如果一组对比来自同一实验/数据集，则应将它们视为一个整体，$\alpha$$\alpha$调整）是必要的。其他人则认为，即使对比来自同一实验，如果对比是先验的和正交的，也不需要特殊的程序。这两个立场都可以辩护。最后，还要注意，控制家庭错误率的过程是有代价的，即。增加II型错误率。

前提是假设是相互依存的，即如果假设之一被打破，则整个结论或理论都会被打破。因此，您需要保证，如果所有测试都是有效的，则所有测试都不是错误的。

关于researchgate的讨论（http://www.researchgate.net/post/Bonferroni-how_is_the_family_of_hypotheses_defined）提供了一系列论文，这可能有助于收集意见-这些论文实际上是从“何时在多个测试情况下应用更正”这一问题开始的”。这些论文（经常被引用）是：

1）罗斯曼·KJ。多个比较无需调整。流行病学.1990; 1（1）：43-6。http://psg-mac43.ucsf.edu/ticr/syllabus/courses/9/2003/02/27/Lecture/readings/Rothman.pdf

2）Perneger电视。Bonferroni调整有什么问题。BMJ。1998； 316（7139）：1236-8。http://static.sdu.dk/mediafiles/D/1/F/%7BD1F06030-8FA7-4EE2-BB7D-60D683B18EAA%7DWhat_s-wrong%20_with_Bonferroni_adjustments.BMJ.1998.pdf

3）Bender R，LangeS。调整多项测试-何时以及如何进行？J临床流行病学。2001; 54：343-9。http://www.rbsd.de/PDF/multiple.pdf

摘要：

1）和2）专注于“所有零假设都成立”，称为一般零假设。如果应用了多个比较的调整，则可以更适当地拒绝它（即不进行alpha累加）。但是，1）和2）都反对，在科学研究过程中很少会完全使用一般的虚假假设-因此，当一个人的某些虚假假设存在于数据中时，“整个理论破裂”标准不会自动适用。分析被偶然拒绝。1）补充说，想到单个无效假设是天真的，被（错误）拒绝的单个无效假设不会再被科学界重新审视。

3）指出，一旦单个假设融入一个论点，就必须进行调整。

从我的观点来看，1），2），3）一起反映了我们必须认真考虑“整个理论的突破”标准。既没有办法将所有零假设都放入一个大香肠中，也没有办法依赖于香肠切片中出现的许多单一假设。在这里，实证工作与研究领域的理论真正交汇。