全都在家里；但是我们也包括姻亲吗？

假设我有两个或更多因素的实验。构造了一个整体方差分析，然后我们进行了两组或更多组事后测试，即多次比较。我的问题是，应该使用多少个家庭，以及多少个家庭作为这些事后测试的多重性调整的基础。

一个例子是Tukey关于EDA的书中的翘曲断裂数据集。有两个因素：（wool两个级别）和tension（三个级别）。方差分析表为：

Source       Df Sum Sq Mean Sq F value    Pr(>F)    
wool          1  450.7  450.67  3.7653 0.0582130
tension       2 2034.3 1017.13  8.4980 0.0006926
wool:tension  2 1002.8  501.39  4.1891 0.0210442
Residuals    48 5745.1  119.69  

显然，模型中需要交互。因此，我们决定比较每个因素的水平，同时保持另一个因素不变。结果如下，其中一些注释将在以后引用：

*** Pairwise comparisons of tension for each wool ***
*** All combined: Family T ***

wool = A:   *** Family T|A ***
 contrast   estimate       SE df t.ratio
 L - M    20.5555556 5.157299 48   3.986
 L - H    20.0000000 5.157299 48   3.878
 M - H    -0.5555556 5.157299 48  -0.108

wool = B:   *** Family T|B ***
 contrast   estimate       SE df t.ratio
 L - M    -0.5555556 5.157299 48  -0.108
 L - H     9.4444444 5.157299 48   1.831
 M - H    10.0000000 5.157299 48   1.939


*** Comparison of wool for each tension ***
*** All combined: Family W ***

tension = L:   *** Family W|L ***
 contrast  estimate       SE df t.ratio
 A - B    16.333333 5.157299 48   3.167

tension = M:   *** Family W|M ***
 contrast  estimate       SE df t.ratio
 A - B    -4.777778 5.157299 48  -0.926

tension = H:   *** Family W|H ***
 contrast  estimate       SE df t.ratio
 A - B     5.777778 5.157299 48   1.120

我认为那里有不同的做法，我想知道哪种做法最常见，以及人们会为每种方法提出赞成或反对意见。在计算调整后的值时，我们应该对...进行多重调整吗？$P$

1. 五个最小家族（T | A，T | B，...，W | H）中的每一个分别是？（注意-最近的3个家庭只有一个测试，因此不会对其进行多重调整）
2. 每个较大的家族（T，进行6个测试，W，进行3个测试）分别？
3. 所有测试都被视为一个大家庭？$6+3=9$

我对人们通常做的事情（即使他们对此并没有考虑太多）和为什么（如果有的话）既感兴趣。我可能要提到的几件事是：

• $F$
• 如果我们做了一个较小的实验，其中所有测试的功能都不那么强大，则交互作用可能不会很明显，从而导致边际均值的事后比较的数量要少得多。而且，边缘手段的SE可能比大型实验中的细胞手段的SE要小。此外，如果多样性调整不太保守，那么使用较少的数据比使用较多的数据可以得到更多的“显着”结果。

有兴趣了解人们怎么说？

尚无人回答，因此我将对此加以说明。

我认为（我很想听听其他人的想法）在这种情况下，您应该针对全部9个测试进行调整。假设我们使用家庭式错误率校正，

• 我们同时从所有9个测试中得出结论。即向下扫描列表，发现有重要意义。

• 为了做到这一点，我们考虑将整个家庭的错误率设为5％。替代方法是将组分别校正为5％FWER。这意味着在解释时，我们不能一起解释测试，而宁愿查看前6个测试，并认为有5％的概率会出现假阳性，然后依次检查每个进一步的测试，以了解每个组都有5％的假阳性率。IMO多重测试校正的实用程序是我们能够同时从多个测试中得出推论。似乎更合乎逻辑的是，我们应该查看所有9个测试，并且知道有5％的可能性是假阳性，而不是像完全不进行校正那样必须单独检查它们。

• $F$

• $F$

总的来说，我认为如果您要从一组中进行同时推断，则必须考虑该组中的每个测试以进行更正。否则，对受控组错误率的标准理解就不会成立，并且很难从概念上跟踪已调整的内容和未调整的内容。我认为，更好的做法是对所有测试负责，并使家庭错误率保持在给定的阈值。

如果您有任何反驳，我很想听听他们的意见，而且我敢肯定，有些人会不同意这里的某些事情。听到别人的想法很感兴趣。