如果检验统计量的分布是双峰的，那么p值意味着什么？

假设零假设为真，则将P值定义为至少获得与所观察到的极端一样的检验统计量的概率。换一种说法，

P (X \geq t | H_{0})

$P( X \ge t | H_0 )$ 但是，如果检验统计量在分布上是双峰的，该怎么办？在这种情况下，p值意味着什么吗？例如，我将在R中模拟一些双峰数据：

set.seed(0)
# Generate bi-modal distribution
bimodal <- c(rnorm(n=100,mean=25,sd=3),rnorm(n=100,mean=100,sd=5)) 
hist(bimodal, breaks=100)

在此处输入图片说明

并假设我们观察到的测试统计值为60。在这里，从图片中我们知道该值是不太可能的。因此，理想情况下，我希望使用一个统计过程（例如p值）来揭示这一点。但是，如果我们按照定义的p值进行计算，则会得到相当高的p值

observed <- 60

# Get P-value
sum(bimodal[bimodal >= 60])/sum(bimodal)
[1] 0.7991993

如果我不知道分布，我将得出结论，我观察到的仅仅是偶然的机会。但是我们知道这是不对的。

我想我要问的问题是：为什么在计算p值时，为什么要计算“至少与所观察值一样极端”的值的概率？如果遇到上面模拟的情况，替代解决方案是什么？

— 阿尔比
source

欢迎来到零假设意义检验的美好世界！认真的说：老实说，我不能想到在原假设（这是我们在NHST中关注的那个假设）下具有双峰分布的检验统计量。所以+1是一个有趣的问题，但我有点怀疑它的实际意义...除非您有具体的例子？

— Stephan Kolassa 2014年

我同意@StephanKolassa；当然存在双峰数据分布，但是什么样的检验统计量呢？

— 彼得·弗洛姆

我不同意第一个公式建议的p值的特征。Neyman-Pearson理论中“至少一样极端”的正确含义是相对可能性，而不是实数的通常顺序（如公式所示）。在许多标准测试情况下，两者是等效的，但是当采样分布为双峰时，两者之间会有很大差异。因此，我认为这种区别将令人满意地解决该问题。

— ub

@whuber能否请您详细说明一下，也许举一个简单的例子？

— Szabolcs 2014年

@Szabolcs设是贝塔分布和让是一个等量混合物和（）。的PDF 是统一的，而的PDF 是双峰的，峰值在。假设。该拒绝区域LR测试的 VS由远离极端两个间隔的周围--one

G_{θ}

$G_\theta$

(θ, θ)

$(\theta,\theta)$

θ \geq 1

$\theta\ge 1$

F_{θ} (x)

$F_\theta(x)$

G_{θ} (x)

$G_\theta(x)$

G_{θ} (- x)

$G_\theta(-x)$

x \in [- 1, 1]

$x \in [-1,1]$

F_{1}

$F_1$

F_{2}

$F_2$

\pm 1 / 2

$\pm 1/2$

X \sim F_{θ}

$X\sim F_\theta$

H_{0} : X \sim F_{1}

$H_0: X\sim F_1$

H_{A} : X \sim F_{2}

$H_A: X\sim F_2$

\pm 1

$\pm 1$

1 / 2

$1/2$ 另一个在附近-因为那里的证据最强。

- 1 / 2

$-1/2$

θ = 2

$\theta=2$

— ub

使测试统计信息“极端”的原因取决于您的选择，该选择对样本空间施加排序（或至少是部分顺序）-您试图拒绝那些最一致（在某种意义上由测试统计信息衡量）的情况替代方案。

如果您实际上没有其他选择可以为您提供最符合要求的内容，那么您实际上就有可能给出排序，这在Fisher的精确测试中最常见。在那里，空值下结果（2x2表）的概率测试检验统计量（因此“极值”是“低概率”）。

如果您处于双峰空分布的最左端（或最右端，或两者都处于）与您感兴趣的替代类型相关联的情况下，则您不会试图拒绝60的检验统计量。但是，如果您处在没有其他选择的情况下，那么60 是不常见的-可能性很小；值60 与您的模型不一致，并会导致您拒绝。

[这在某些情况下可以看作是Fisherian假设检验与Neyman-Pearson假设检验之间的一个主要区别。通过引入显式替代方案和可能性比率，零值下的低可能性并不一定会导致您在Neyman-Pearson框架中拒绝（只要与替代方案相比，它的表现相对较好），而对于Fisher，您实际上没有其他选择，而null之下的可能性就是您感兴趣的事物。]

我并不是在暗示这两种方法是对还是错-您可以继续进行自己的工作，找出自己寻求反对的替代方案，无论是特定的替代方案，还是在零下不可能实现的任何替代方案。一旦知道了您想要的内容，其余的内容（包括“至少达到极限”的意思）就会随之而来。

— Glen_b-恢复莫妮卡
source