为什么所有关于正态性的检验都会拒绝原假设？

Kolgomorov-Smirnov检验，Shapiro检验等都拒绝分布是正态的假设。但是，当我绘制正常的分位数和直方图时，数据显然是正常的。也许是因为测试的功效很高？

样本量大约为650。那么，这些检验中的至少一项是否应该不能拒绝原假设？

结果：

           Kolmogorov-Smirnov    D          0.05031          Pr > D       <0.010
           Cramer-von Mises      W-Sq       0.30003          Pr > W-Sq    <0.005
           Anderson-Darling      A-Sq       1.66965          Pr > A-Sq    <0.005
           Chi-Square            Chi-Sq  3250.43596     18   Pr > Chi-Sq  <0.001

正常性测试浪费时间，您的示例说明了原因。对于小样本，正态性检验的功效很低，因此需要基于先验知识来决定使用哪种统计模型。在这些情况下，不能拒绝零值并不表示该零值在总体水平上甚至近似为真。

当您有大量样本时，正态性检验会变得异常强大，但是它们不会告诉您您不知道的任何内容。没有真正的量正好正态分布。正态分布只是数学上的抽象，在很多情况下都可以很好地近似。最简单的证明是，没有实数（至少没有我能想到的）可以将任何实数作为其值。例如，宇宙中只有这么多分子。货币供应中只有那么多美元。光速是有限的。计算机只能存储有限大小的数字，因此即使某物确实支持所有实数，您也无法对其进行度量。

关键是您已经知道数据不是完全正态分布的，但是正态性测试无法告诉您数据的非正态性。它们绝对不能暗示您的数据是否近似正态分布，这样假设正态性的统计推断方法将给出正确的答案。具有讽刺意味的是，假定样本量正常的常见检验（例如T检验和ANOVA）对非正规性的鲁棒性更高。

这不足以让我惊讶---只要样本量足够大，任何好的测试都应拒绝原假设，除非生成数据的分布确实（且确切地）是正态的。

使用假设检验时，通常会希望找到一种“强大的”检验，该检验可以发现与零假设的很小偏差，并使用尽可能少的数据。

尝试使用大小为20、50、100、200的子样本运行测试，并查看测试以什么大小开始拒绝。很容易看出直方图是否对称且通常呈钟形，但分布的尾部很难用肉眼评估。也许数据中有异常值导致测试被拒绝？如果有，请查看将其修剪后会发生什么。

可能的原因是您的数据非常不正常，并且样本量足以揭示这一点。

如果分发确实是正常的，则通常应通过这些测试，如下面的R示例所示，其中所有测试均通过。

> require(nortest)
> 
> set.seed(1)
> dat <- rnorm(650,mean=100, sd=5)
> 
> ad.test(dat)

        Anderson-Darling normality test

data:  dat 
A = 0.439, p-value = 0.2924

> cvm.test(dat)

        Cramer-von Mises normality test

data:  dat 
W = 0.0882, p-value = 0.1619

> lillie.test(dat)

        Lilliefors (Kolmogorov-Smirnov) normality test

data:  dat 
D = 0.0334, p-value = 0.08196

> pearson.test(dat)

        Pearson chi-square normality test

data:  dat 
P = 37.96, p-value = 0.035

> sf.test(dat)

        Shapiro-Francia normality test

data:  dat 
W = 0.9978, p-value = 0.5186

> shapiro.test(dat)

        Shapiro-Wilk normality test

data:  dat 
W = 0.9981, p-value = 0.675

您可能想要做一个qqplot，如果它足够接近一条直线，那么您可能会决定将其视为与正常情况足够接近的正态曲线。而是取决于这些目的是什么。

让我不同意dsimcha的回答：“正常测试是浪费时间，您的示例说明了原因。” 进行正常测试永远不会浪费时间，您可以随时从数据中学习。此外，在执行某些分析之前，必须先测试一些条件（例如，方差分析，回归分析等）。相对较大的样本量最好使用图（QQ图，直方图）进行测试。在这种情况下，可视化会提供有关多模式行为等的更多信息。

在处理大样本量时，方差分析和回归分析对非正态性具有鲁棒性，但引起问题的主要数据类型是多峰数据样本。

样本量较小时，主要由于其灵敏度高，Kolgomorov-Smirnov测试是最佳选择。

我将略微不同意到目前为止发布的其他答案：众所周知，这些正态性检验的功效非常差，即使样本量较大，至少对于某些偏差也是如此。

这是一个简单的例子。我生成了两个法线的混合，其均值由一个整体sd分隔。

set.seed(1)
reps = replicate(
  10000, 
  shapiro.test(c(rnorm(325, mean = 0), rnorm(325, mean = 1)))$p.value
)
mean(reps < .05)
[1] 0.0525

考虑到即使它是真正正常的，它也会在5％的时间内“检测”偏离正常的情况，这并不是很令人印象深刻。

这是另一个示例：我在两个标准偏差大小的范围内添加均匀噪声。这显然是不正常的。

set.seed(1)
reps = replicate(
  10000, 
  shapiro.test(rnorm(650) + 2 * runif(650))$p.value
)
mean(reps < .05)
[1] 0.0523

同样，功率极低，与正常情况大不相同。

您确定您正在正确阅读qqplot吗？您可以上传它以便我们看到吗？

编辑在另一方面，回归是相当强大的，以非正常，所以我同意，目视检查可能是足以满足大多数的目的。