单个统计检验可以证明无效假设（H0）为假，因此替代假设（H1）为真。但这不能用来表明H0为真，因为未能拒绝H0并不意味着H0为真。

但是，让我们假设您有可能进行多次统计检验，因为您有许多彼此独立的数据集。所有数据集都是同一过程的结果，您想对过程本身做出一些声明（H0 / H1），并且对每个测试的结果都不感兴趣。然后，您收集所有得到的p值，并通过直方图碰巧看到p值明显均匀地分布。

我现在的推理是，只有在H0为true时才会发生这种情况，否则p值的分布将有所不同。因此，这是否足以证明H0为真？还是我在这里缺少一些重要的东西，因为我花了很多心血来写“得出H0为真”的结论，这在我看来真是太过错误了。

我喜欢您的问题，但不幸的是我的回答是“否”，它不能证明$H_0$。原因很简单。您怎么知道p值的分布是均匀的？您可能必须运行均匀性测试，该测试将返回您自己的p值，并且最终会遇到您试图避免的相同类型的推理问题，只有一步之遥。而不是寻找在原来的p值$H_0$，现在你看看其他的p值$H'_0$大约原始p值的分布的均匀性。

更新

这是示范。我从高斯和泊松分布中生成了100个观测值的100个样本，然后为每个样本的正态性检验获得100个p值。因此，问题的前提是，如果p值来自均匀分布，则证明零假设是正确的，这比统计推断中通常的“不拒绝”要强。问题在于“ p值来自统一”本身就是一个假设，您必须以某种方式对其进行检验。

在下面的图片（第一行）中，我显示了来自Guassian和Poisson样本的正态性检验的p值的直方图，您可以看到很难说一个是否比另一个更均匀。那是我的重点。

第二行显示每个分布的样本之一。样本相对较小，因此您确实不能有太多垃圾箱。实际上，这个特定的高斯样本在直方图上看起来并没有那么多。

在第三行中，我将在直方图上显示每个分布的10,000个观测值的组合样本。在这里，您可以拥有更多的垃圾箱，并且形状更加明显。

最后，我运行相同的正态性检验，并为合并的样本获取p值，它拒绝了Poisson的正态性，而未能拒绝高斯。p值为：[0.45348631] [0.]

当然，这不是证明，而是您最好对组合样本进行相同测试的想法的证明，而不是尝试分析子样本的p值的分布。

这是Python代码：

import numpy as np
from scipy import stats
from matplotlib import pyplot as plt

def pvs(x):
    pn = x.shape[1]
    pvals = np.zeros(pn)
    for i in range(pn):
        pvals[i] = stats.jarque_bera(x[:,i])[1]
    return pvals

n = 100
pn = 100
mu, sigma = 1, 2
np.random.seed(0)
x = np.random.normal(mu, sigma, size=(n,pn))
x2 = np.random.poisson(15, size=(n,pn))
print(x[1,1])

pvals = pvs(x)
pvals2 = pvs(x2)

x_f = x.reshape((n*pn,1))
pvals_f = pvs(x_f)

x2_f = x2.reshape((n*pn,1))
pvals2_f = pvs(x2_f)
print(pvals_f,pvals2_f)

print(x_f.shape,x_f[:,0])


#print(pvals)
plt.figure(figsize=(9,9))
plt.subplot(3,2,1)
plt.hist(pvals)
plt.gca().set_title('True Normal')
plt.gca().set_ylabel('p-value')

plt.subplot(3,2,2)
plt.hist(pvals2)
plt.gca().set_title('Poisson')
plt.gca().set_ylabel('p-value')

plt.subplot(3,2,3)
plt.hist(x[:,0])
plt.gca().set_title('a small sample')
plt.gca().set_ylabel('x')

plt.subplot(3,2,4)
plt.hist(x2[:,0])
plt.gca().set_title('a small Sample')
plt.gca().set_ylabel('x')

plt.subplot(3,2,5)
plt.hist(x_f[:,0],100)
plt.gca().set_title('Full Sample')
plt.gca().set_ylabel('x')

plt.subplot(3,2,6)
plt.hist(x2_f[:,0],100)
plt.gca().set_title('Full Sample')
plt.gca().set_ylabel('x')

plt.show()

$\sqrt{n}$

$H_0$$H_0$

大卫·休ume和归纳问题

$H_0$$H_0$

$\forall_{a \in A} \left[ a \in B \right]$

• 几个世纪以来，欧洲人观察到的每只天鹅都是白色的。然后欧洲人发现了澳大利亚，看到了黑天鹅。

• 几个世纪以来，牛顿的重力定律与观察一致，并被认为是正确的。尽管它被爱因斯坦的广义相对论所推翻。

$H_0$

（不完整的）前进方式清单：

卡尔·波普尔与证伪主义

在卡尔·波普尔（Karl Popper）看来，没有科学定律是正确的。我们只有尚未证明是错误的科学定律。

波普尔认为科学是通过猜测假设并使之经受严格审查而前进的。它通过推论（观察证明理论为假）而不是归纳法（重复的观察证明理论为真）前进。大量的常客统计数据都是根据这种哲学而构建的。

波普尔的观点具有巨大的影响力，但是正如库恩和其他人所论证的那样，它并不完全符合从经验上观察到的成功科学实践。

贝叶斯主观概率

$\theta$

$\theta$$\theta$$\theta$$P(\theta)$$P(\theta \mid X)$$\theta$$X$。您在各种情况下的行为方式与这些主观概率有一定的对应关系。

这是对自己的主观信念进行建模的逻辑方法，但并不是产生与现实相对应的真实概率的神奇方法。对于任何贝叶斯解释，一个棘手的问题是先验从何而来？另外，如果模型指定不正确怎么办？

乔治·P·鲍克斯

George EP Box的一个著名格言是“所有模型都是错误的，但有些模型是有用的”。

牛顿定律可能并不正确，但对于许多问题仍然有用。Box的观点在现代大数据环境中非常重要，在这种情况下，研究是如此强大，以至于您基本上可以拒绝任何有意义的主张。严格对错是一个不好的问题：重要的是模型是否可以帮助您理解数据。

补充评论

$\theta \approx 0$

对多个研究的结果进行统计分析的统计分析也称为荟萃分析。

您可以超越狭义的统计解释走多远，这是一个难题。

从某种意义上说，您是对的（请参阅p曲线），但有一些小警告：

1. $p \leq \alpha$$\alpha$$H_0$
2. $H_0$$H_0$

使用实际的应用程序，您往往会遇到其他问题。这些主要是因为没有人/实验室/研究小组通常可以进行所有必要的研究。结果，人们倾向于查看来自许多小组的研究，这时，您对未充分报告，有选择地报告重大/令人惊讶的发现， p-hacking，多次测试/多次测试更正等。

零假设（H0）：重力使宇宙中的所有物体都向地球表面坠落。

备用假设（H1）：一切都没有落下。

$p < 0.01$