在相同数据上，ANOVA检验的值与多个检验的值相比可以小多少？

简介：注意到今天这个问题引起了人们的注意： “ 当成对t检验都不存在时，方差分析会很重要吗？ ”，我认为我可能能够以一种有趣的方式对其进行重新构架，以得到自己的答案。。

当将统计显着性理解为简单的二分法，并仅根据 $p$ 或较高值来判断时，可能会出现各种不一致的结果（以面值计） $\alpha$ 。@Glen_b 对上述问题的回答提供了以下情况的有用示例：

ANOVA $F$ 检验为具有四个水平的一个自变量（IV）产生 $p_F<.05$ ，但是
$p_t>.08$ 对于所有两个样本 $t$ 检验，用于比较与IV的每对四个水平对应的观测值之间相同因变量（DV）的差异。

尽管通过这个问题进行了事后成对比较的Bonferroni校正，但发生了类似的情况：Anova重复测量很重要，但是使用Bonferroni校正的所有多重比较都不是吗？前面提到的情况在多元回归中的检验也略有不同：

为什么有可能获得显着的F统计量（p <.001）但无显着的回归t检验？： $p_F<.001,p_{\beta t}>.09$
回归如何显着但所有预测变量都不显着？
- 在@whuber的答案中， $p_F=.0003,p_{\beta t}>.09$

我打赌，在这样的情况下，一些（但不是全部）成对比较（或回归系数显着性检验）值必须相当接近如果相应综合测试可以实现。我看到@Glen_b的第一个示例就是这种情况，其中，，最大的成对差给出最小的。一般情况下必须这样吗？更具体地说： $p$ $\alpha$ $p <\alpha$ $F_{(3,20)}=3.19$ $p_F=.046$ $p_t=.054$

问题：如果ANOVA检验对连续DV的一个多静脉IV的影响产生，那么在比较每对IV水平的所有两个样本检验中，最低的值有多高？最小成对意义是否可以高达？ $F$ $p_F=.05$ $p$ $t$ $p_t=.50$

_{我欢迎仅解决此特定问题的答案。但是，为了进一步激发这个问题，我将详细阐述并提出一些潜在的反问。欢迎您也解决这些问题，甚至在您愿意时也可以忽略特定的问题，尤其是在特定问题得到明确答案的情况下。}

重要性：考虑一下，如果用连续的无效假设证据的强度来判断统计显着性，那么和之间的差异的重要性降低了多少（我认为是罗恩·费舍尔的方法？），而不是用高于或低于阈值的二分法来表示在选择是否拒绝零批发时可接受的错误概率。“ hacking ”是一个已知的问题，部分原因是由于对的解释而引入了不必要的漏洞，因此臭名昭著 $p_F=.04$ $p_t=.06$ $\alpha=.05$ $p$ $p$ 根据将重要性二分为“足够好”和“不够好”的等价物的常用值。如果要抛弃这种做法，而专注于将值解释为在连续时间间隔上抵制null的证据强度，那么当人们真正在乎多个成对比较时，综合测试可能会变得不太重要？不是无用的必然，在统计的准确性任何合理有效的改善当然是可取的，但是......如果，例如，最低两两比较的值是一定范围内的方差分析（或其他综合测试） $p$ $p$ $.10$ $p$ 价值，这是否会使综合测试变得更琐碎，更少强制性，甚至更具误导性（结合先前存在的误解），尤其是如果人们不希望跨多个测试控制？ $\alpha$

相反，如果可能存在这样的数据，使得综合，但所有配对，这是否应该在整个实践和教学法中进一步激发综合和对比测试？在我看来，这个问题还应该提供依据二分法与连续统来判断统计显着性的相对优点，因为当差异“微不足道”时，二分式解释系统应该对小调整更敏感，而这两个系统都没有如果理论上这种差异/调整可能非常大（例如，，则执行综合测试或针对多个比较进行调整。 $p=.05$ $p>.50$ $p_t-p_F>.40)$

_{需要考虑或忽略的其他可选复杂性—使回答更容易和更有价值的方法：}

^{多高 S代表小号可能是，如果，对于，，而不是（例如，） $p$ $t$ $F$ $p<.05$ $p=.01, .001,\dots$}
^{对多发性静脉内的水平数量的敏感性}
^{对成对差异的重要性对不均匀性的敏感性（而所有） $p_t>p_F$}
- ^{Whuber的答案表明，包含小的差异可以掩盖较大的差异。}
^{各种综合测试的校正之间的差异以进行多次比较}
- ^{另请参阅：校正主题内的多次比较/重复测量方差分析；过于保守？}
- ^{对于多个IV，似乎多重共线性会加剧这个问题。}
^{数据符合经典参数测试所有假设的受限情况}
- ^{此限制对于防止此问题引起某些争论可能很重要。}

— 尼克·斯陶纳
source

您可能想阐明成对t检验是否应该使用与综合F检验相同的误差方差估计（在Glen的示例中，它们不使用）。

— Scortchi-恢复莫妮卡

我的意思是使用，但计算出的为ANOVAR均方误差的平方根。这是通常的事后成对t检验，与Tukey的HSD不同，它不会为多次比较进行调整。它确实合并了所有组的信息，但独立于组均值的差异。

t = ({\bar{y}}_{1} - {\bar{y}}_{2}) / (\hat{σ} \sqrt{\frac{1}{n_{1}} + \frac{1}{n_{2}}})

$t=(\bar{y}_1-\bar{y}_2)/\left({\hat\sigma\sqrt{\frac{1}{n_1} + \frac{1}{n_2}}}\right)$

\hat{σ}

$\hat\sigma$

— Scortchi-恢复莫妮卡

我看到（某种）！我主要感兴趣的是遵循@Glen_b的示例，而不是使用，而是使用您提到的第一个公式以避免合并所有组的信息。这并不是说我在这里有强烈的偏好……但是我的初衷是在这些问题中提出通用主题的一种变体：“对于任何给定的问题，忽略两个特定群体之外的信息的真正危害是什么？有两个样本？我想这个主题也值得在这个决定中进行。

\sqrt{MSE}

$\sqrt{\text{MSE}}$

— Nick Stauner 2014年

@Scortchi我在另一个问题中包含了一个示例，该示例涵盖了您的第一个评论（即，其中的测试是使用常见的误差方差和df进行的），尽管所有测试（F和多重比较）都在相当低的显着性水平下完成（0.0025，而不是0.05）。与尼克（Nick S.）要求的单个普通两次样本t检验进行比较时，表明显着性的显着差异是可能的（在这种情况下，所有普通t检验的，但）。我相信与许多团体一起，有可能走得更远。

p_{t} > .05

$p_t>.05$

p_{F} < 0.002

$p_F<0.002$

— Glen_b-恢复莫妮卡2014年

几分钟前，我在stats.stackexchange.com/questions/83030/…的评论中为这个问题的第一部分提供了答案。

— whuber

假设单向布局中的每种处理均等于 s [但请参阅下面的注释2]，并且所有组的合并SD用于检验（如通常的事后比较中所做的那样），则可能的最大值检验的值为（此处，表示 cdf）。因此，不能高达。有趣的是（。很奇怪）边界不仅适用于，而且对于我们要求的任何显着性水平都适用。 $n$ $t$ $p$ $t$ $2\Phi(-\sqrt{2}) \approx .1573$ $\Phi$ $N(0,1)$ $p_t$ $0.5$ $.1573$ $p_F=.05$ $F$

理由如下：对于给定范围的样本均值，，当一半处于另一极端而另一半处于另一极端时，则实现了最大的统计量。考虑到两个均值相差最多，因此这表示看起来是最高有效的情况。 $\max_{i,j}|\bar y_i - \bar y_j| = 2a$ $F$ $\bar y_i$ $F$ $2a$

因此，在不失一般性的前提下，假设因此在这种边界情况下。同样，在不失一般性的，假设，因为我们总是可以将数据重新缩放为该值。现在考虑均值（为简单起见，其中甚至是偶数[但请参见下面的注释1]），我们有。设置以使，我们获得。当所有为（并且仍为）时，每个非零 $\bar y_.=0$ $\bar y_i=\pm a$ $MS_E=1$ $k$ $k$ $F=\frac{\sum n\bar y^2/(k-1)}{MS_E}= \frac{kna^2}{k-1}$ $p_F=\alpha$ $F=F_\alpha=F_{\alpha,k-1,k(n-1)}$ $a =\sqrt{\frac{(k-1)F_\alpha}{kn}}$ $\bar y_i$ $\pm a$ $MS_E=1$ $t$ 因此，统计量为。当时，这是最小的最大值。 $t=\frac{2a}{1\sqrt{2/n}} = \sqrt{\frac{2(k-1)F_\alpha}{k}}$ $t$ $F=F_\alpha$

因此，您可以尝试和不同情况，计算及其关联的。但是请注意，对于给定的，在递减[但请参见下面的注释3]；此外，作为，；所以。注意均值是和SD。因此，无论 $k$ $n$ $t$ $p_t$ $k$ $F_\alpha$ $n$ $n\rightarrow\infty$ $(k-1)F_{\alpha,k-1,k(n-1)} \rightarrow \chi^2_{\alpha,k-1}$ $t \ge t_{min} =\sqrt{2\chi^2_{\alpha,k-1}/k}$ $\chi^2/k=\frac{k-1}k \chi^2/(k-1)$ $\frac{k-1}k$ $\frac{k-1}k\cdot\sqrt{\frac2{k-1}}$ $\lim_{k\rightarrow\infty}t_{min} = \sqrt{2}$ $\alpha$ ，我在上面第一段中提到的结果是从渐近正态性获得的。

但是，要花很长时间才能达到该极限。以下是使用R的各种值的结果（使用计算）： $k$ $\alpha=.05$

k       t_min    max p_t   [ Really I mean min(max|t|) and max(min p_t)) ]
2       1.960     .0500
4       1.977     .0481   <--  note < .05 !
10      1.840     .0658
100     1.570     .1164
1000    1.465     .1428
10000   1.431     .1526

一些松散的结局...

当k为奇数时：当全部为时，仍然会出现最大统计量；但是，我们将有一个更比其他范围的一端，使得平均，可以表明因素在统计被替换。这也替换了的分母，使其稍大并因此减小了。 $F$ $\bar y_i$ $\pm a$ $\pm a/k$ $k$ $F$ $k-\frac 1k$ $t$ $p_t$
s 不相等： $n$ 仍然可以实现最大值，符号被设置为尽可能近似地平衡样本大小。然后，相同总样本大小的统计量将等于或小于平衡数据的统计量。而且，最大的统计量将更大，因为它将是最大的统计量。因此，通过查看不平衡情况，我们无法获得更大的值。 $F$ $\bar y_i = \pm a$ $F$ $N = \sum n_i$ $t$ $n_i$ $p_t$
稍作修正：我过于专注于寻找最小，以至于忽略了我们试图最大化，而且不太明显的是，具有较小df 的较大不会比较小的重要。与更多的DF。但是，我通过计算的值直到df足够高而几乎没有差别来验证这种情况。对于情况，我没有看到值不随增加的任何情况。请注意因此可能的df为，当 $t$ $p_t$ $t$ $n=2,3,4,\ldots$ $\alpha=.05, k\ge 3$ $p_t$ $n$ $df=k(n-1)$ $k,2k,3k,\ldots$ $k$ 大。因此，我仍然对上述要求有把握。我还测试了，并且我观察到的唯一一个超过阈值的情况是。 $\alpha=.25$ $.1573$ $k=3,n=2$

— 拉斯·伦斯
source