当成对t检验都不存在时，方差分析是否有意义？

如果没有成对t检验，单向（组或“水平”）ANOVA可能会报告显着差异？$N>2$$N(N-1)/2$

在这个答案中 @whuber写道：

众所周知，即使在任何一对均值的单独[未调整的成对] t检验都不会产生显着结果的情况下，全局ANOVA F检验也可以检测均值的差异。

因此显然有可能，但我不知道如何。什么时候发生，这种情况背后的直觉是什么？也许有人可以提供这种情况的简单玩具示例？

进一步说明：

1. 显然可能存在相反的情况：总体ANOVA可能不显着，而某些成对的t检验错误地报告了显着差异（即，那些都是假阳性）。

2. 我的问题是关于标准的，未经多次比较t检验的调整。如果使用调整后的测试（例如Tukey的HSD程序），那么即使整体ANOVA仍然没有一个是有意义的。这在几个问题中都涉及到，例如，如何获得显着的总体ANOVA，但与Tukey的过程没有成对的显着差异？和显着的方差分析相互作用，但非显着的成对比较。

3. 更新。我的问题最初是指通常的两样本成对t检验。但是，正如@whuber在评论中指出的那样，在方差分析的背景下，t检验通常被理解为事后对比，它使用对所有组进行汇总的组内方差的ANOVA估计（这不是两个组中发生的事情） -样本t检验）。因此，我的问题实际上有两个不同的版本，对它们的回答都被肯定。见下文。

注意：我的原始示例出了点问题。我愚蠢地被R的无声论据循环所吸引。我的新示例与旧示例非常相似。希望现在一切正常。

这是我制作的一个示例，它的ANOVA在5％的水平上很显着，但是即使在5％的水平下，这6个成对比较都没有显着性。

数据如下：

g1:  10.71871  10.42931   9.46897   9.87644
g2:  10.64672   9.71863  10.04724  10.32505  10.22259  10.18082  10.76919  10.65447 
g3:  10.90556  10.94722  10.78947  10.96914  10.37724  10.81035  10.79333   9.94447 
g4:  10.81105  10.58746  10.96241  10.59571

这是方差分析：

             Df Sum Sq Mean Sq F value Pr(>F)  
as.factor(g)  3  1.341  0.4469   3.191 0.0458 *
Residuals    20  2.800  0.1400        

这是两个样本t检验p值（均方差假设）：

        g2     g3     g4
 g1   0.4680 0.0543 0.0809 
 g2          0.0550 0.0543 
 g3                 0.8108

只要稍微弄些组均值或单个点，就可以使显着性差异更加显着（因为我可以将第一个p值减小，而将t检验的六个p值集合中的最小p值增大） ）。

-

编辑：这是一个附加示例，该示例最初是由有关趋势的噪声生成的，它显示了将点稍微移动一下可以做的更好的事情：

g1:  7.27374 10.31746 10.54047  9.76779
g2: 10.33672 11.33857 10.53057 11.13335 10.42108  9.97780 10.45676 10.16201
g3: 10.13160 10.79660  9.64026 10.74844 10.51241 11.08612 10.58339 10.86740
g4: 10.88055 13.47504 11.87896 10.11403

F的p值低于3％，t的p值都不低于8％。（对于3组示例-但F上的p值稍大-省略第二组）

这是一个非常简单的，甚至更虚假的示例，包含3组：

g1: 1.0  2.1
g2: 2.15 2.3 3.0 3.7 3.85
g3: 3.9  5.0

（在这种情况下，最大的方差在中间组上-但是由于那里的样本量较大，所以组均值的标准误仍然较小）

多重比较t检验

ub建议我考虑多重比较的情况。事实证明这很有趣。

进行多个比较的情况（所有操作均在原始显着性水平下进行-即无需为多个比较调整alpha值）很难实现，因为在不同组中使用越来越大的方差或越来越少的df都无济于事就像使用普通的两样本t检验一样。

但是，我们仍然拥有操纵组数和显着性水平的工具。如果我们选择更多的组和较小的显着性水平，则再次容易地确定案例。这是一个：

取八组。将前四组的值定义为（2,2.5），将后四组的值定义为（3.5,4），并取 （例如）。然后我们有一个显着的F：$n_i=2$$\alpha=0.0025$

> summary(aov(values~ind,gs2))
            Df Sum Sq Mean Sq F value  Pr(>F)   
ind          7      9   1.286   10.29 0.00191 
Residuals    8      1   0.125                   

但是，成对比较中的最小p值对该级别并不重要：

> with(gs2,pairwise.t.test(values,ind,p.adjust.method="none"))

        Pairwise comparisons using t tests with pooled SD 

data:  values and ind 

   g1     g2     g3     g4     g5     g6     g7    
g2 1.0000 -      -      -      -      -      -     
g3 1.0000 1.0000 -      -      -      -      -     
g4 1.0000 1.0000 1.0000 -      -      -      -     
g5 0.0028 0.0028 0.0028 0.0028 -      -      -     
g6 0.0028 0.0028 0.0028 0.0028 1.0000 -      -     
g7 0.0028 0.0028 0.0028 0.0028 1.0000 1.0000 -     
g8 0.0028 0.0028 0.0028 0.0028 1.0000 1.0000 1.0000

P value adjustment method: none 

简介：我相信这是可能的，但是非常非常不可能。差异将很小，并且如果发生，是因为违反了一个假设（例如方差的均方差）。

这是一些寻找这种可能性的代码。请注意，每次运行时，它将使种子增加1，以便存储种子（并且对种子的搜索是系统的）。

stopNow <- FALSE
counter <- 0
while(stopNow == FALSE) {
  counter <- counter + 1
  print(counter)
  set.seed(counter)
  x <- rep(c(0:5), 100)
  y <- rnorm(600) + x * 0.01
  df  <-as.data.frame( cbind(x, y))
  df$x <- as.factor(df$x)
  fit <- (lm(y ~ x, data=df))
  anovaP <- anova(fit)$"Pr(>F)"[[1]]
       minTtestP <- 1
      for(loop1 in c(0:5)){
        for(loop2 in c(0:5)) {
          newTtestP <- t.test(df[x==loop1,]$y, df[x==loop2,]$y)$p.value
      minTtestP <- min(minTtestP, newTtestP )    
      }
   }

  if(minTtestP > 0.05 & anovaP < 0.05) stopNow <- TRUE 
  cat("\nminTtestP = ", minTtestP )
  cat("\nanovaP = ", anovaP )
  cat("\nCounter = ", counter, "\n\n" )
}

在搜索有效的R2且没有非显着的t检验时，我发现18,000的种子没有任何发现。从R2中寻找比t检验更低的p值，我得到了seed = 323的结果，但是差别非常非常小。调整参数（增加组数？）可能会有所帮助。R2 p值可以较小的原因是，当为回归中的参数计算标准误差时，将所有组组合在一起，因此差异的标准误差可能比t检验小。

我想知道违反异方差是否会有所帮助（确实如此）。是的 如果我用

y <- (rnorm(600) + x * 0.01) * x * 5

要生成y，然后在seed = 1889处找到合适的结果，其中t检验的最小p值为0.061，与R平方相关的p值为0.046。

如果我改变组的大小（这增加了违反异方差性的影响），可以通过将x采样替换为：

x <- sample(c(0:5), 100, replace=TRUE)

在种子= 531时，我得到了显着的结果，最小的t检验p值为0.063，R2的p值为0.046。

如果我停止在t检验中校正异方差，请使用：

newTtestP <- t.test(df[x==loop1,]$y, df[x==loop2,]$y, var.equal = TRUE)$p.value

我的结论是，除非您在回归中违反了均方差假设，否则这种情况极不可能发生，并且差异可能很小。尝试使用健壮性/三明治/任何您想称之为校正的内容来运行分析。

完全有可能：

• 一个或多个成对的t检验很重要，但总体F检验却没有
• 总体F检验很显着，但成对t检验都不是

总体F检验同时测试所有对比。因此，它必须对单个对比（例如成对测试）不那么敏感（统计功​​效较小）。这两个测试彼此密切相关，但是它们并没有报告完全相同的事物。

如您所见，除非整体F检验有效，否则教科书中建议不要进行计划内的比较并不总是正确的。实际上，该建议可能会阻止我们发现重大差异，因为总体F检验的能力低于计划的比较以测试特定差异。