为什么频繁主义者假设检验偏向于拒绝具有足够大样本的零假设？

当我偶然发现这篇文章时，我只是在阅读有关贝叶斯因子的文章，这是一个完全不相关的问题

由于贝叶斯形式避免了模型选择偏差，评估了支持原假设的证据，包括模型不确定性，并且允许比较非嵌套模型，因此使用贝叶斯因子进行的假设检验比频繁假设检验更为稳健。具有相同的因变量）。同样，频繁性显着性检验偏向于拒绝具有足够大样本量的零假设。[重点添加]

在卡尔·弗里斯顿（Karl Friston）2012年在NeuroImage中的论文中，我已经看到过这种说法，他称其为经典推理的谬误。

我很难找到一个真正的教学方法来解释为什么这应该是正确的。具体来说，我想知道：

1. 为什么会这样
2. 如何防范
3. 失败了，如何检测到它

对问题1的回答：之所以发生这种情况，是因为当真实差异恰好等于0时，在频繁性差异检验（即无差异/某种形式相等的零假设的检验）中，随着样本量的增加，值会变得任意小，与任意套利接近于零相反，这是不现实的（请参阅尼克·斯汤纳对《任择议定书》的评论）。的 -值变得任意小，因为频率论检验统计量的误差通常与样品尺寸减小，与结果即所有差异都具有足够大的样本大小任意水平显著。莎玛兹（Cosma Shalizi）对此博学了。$p$$p$

对问题2的回答：在常识性假设检验框架内，可以通过不仅仅推断出检测差异来预防这一情况。例如，可以将有关差异和对等的推论相结合，以使人们不赞成（或混淆！）效果证据的证据负担与不存在效果的证据的负担。没有效果的证据来自例如：

1. 两个等效的单面测试（TOST），
2. 一致最强大的试验等价，和
3. 到等价的置信区间的方式（即，如果检验统计量％CI是内的先验当量/相关性-defined范围内，则一个在结束等价显着性水平）。$1-2\alpha$$\alpha$

这些方法所共有的是关于什么效应大小构成相关差异的先验 决定，以及根据差异至少与被视为相关的差异构成的原假设。

差异检验和等价检验的组合推论因此可以防止您以这种方式在样本量较大时描述的偏差（两两表显示了由组合检验差异而产生的四种可能性-实证虚假假设H -和等价-否定原假设，H）：− $_{0}^{+}$$_{0}^{-}$

请注意左上象限：压倒性测试是一种测试，是的，您拒绝无差异的零假设，但是您也拒绝相关差异的零假设，所以是的有差异，但是您有先验的决定不关心因为它太小了。

问题3的答案：请参阅答案2。

如果原假设是真实的，则使用大样本的频繁检验不会显示出拒绝原假设的偏见。如果检验的假设是正确的，并且原假设是正确的，那么与小样本相比，没有更大的风险会导致拒绝原假设。如果null不为真，那么我们一定会很乐意拒绝它，因此大样本比小样本更频繁地拒绝虚假的事实不是“偏见”，而是适当的行为。

对“过度实验”的恐惧是基于这样的假设，即当虚无假设几乎成立时拒绝它是一件好事。但是，如果它几乎是正确的，那么它实际上是错误的！拒绝，但不要注意到（并清楚地报告）观察到的效果大小。它可能很小，因此不值得认真考虑，但是必须在考虑来自假设检验之外的信息后再做出决定。