为什么高阳性峰度对于假设检验有问题？

我听说过（抱歉，我无法提供到文本的链接，有人告诉我）对于正确的假设检验和置信区间，残差的高正峰度可能会成问题（因此存在统计推断问题）。这是真的吗？如果是这样，为什么？残差的高正峰度是否不表示大部分残差都接近零均值，因此存在的残差较小？（如果您有答案，请尝试在数学方面不多的情况下给出答案，因为我不太喜欢数学）。

— DDK
source

我猜您正在关注具有正常（高斯）误差项的理想条件的模型。（在许多其他情况下，很可能会出现高峰度残差。）高峰度最有可能意味着分布比正常情况更胖，因此有些残差非常高（+或-）。即使有很多接近零，这也只是个好消息，而可能的坏消息需要引起注意。但这反过来可能意味着任何事情。残差图和拟合图通常更具信息性。

— 尼克·考克斯

确实，我专注于具有正态性假设的模型。

— DDK

Answers:

听说残差的高正峰度可能对准确的假设检验和置信区间有问题（因此存在统计推断问题）。这是真的吗？如果是这样，为什么？

对于某些假设检验，这是事实。

残差的高正峰度是否不表示大部分残差都接近零均值，因此存在的残差较小？

没有。

似乎您正在将方差和峰度的概念混为一谈。如果方差较小，则趋向于具有较小的残差和较少的较大残差。想象一下，当我们改变峰度时，我们保持标准偏差不变（因此，我们肯定是在谈论峰度的变化，而不是方差的变化）。

比较不同的方差（但峰度相同）：

峰度不同但方差相同的情况：

（来自此帖子的图片）

$^\ddagger$

$\ddagger$

即使保持方差恒定，峰度越高，残差也越大。

[此外，在某些情况下，小残留物的集中实际上可能比最大残留物的额外部分要引起更多的问题-取决于您要查看的内容。]

无论如何，让我们看一个例子。考虑一次样本t检验，样本量为10。

如果我们在t统计量的绝对值大于2.262时拒绝零假设，那么当观测值是独立的且与正态分布相同，并且假设均值是真实总体均值时，我们将拒绝零假设。假设的时间为5％。

考虑一个峰度明显高于正态分布的特殊分布：我们人口的75％的值是从正态分布中提取的，其余25％的值是从正态分布中提取的，其标准偏差大50倍。

如果我计算正确，则对应的峰度为12（过量峰度为9）。最终的分布比正常分布更趋于峰化，并且尾巴很重。将密度与下面的正常密度进行比较-您可以看到较高的峰，但在左侧图像中看不到较重的尾巴，因此我还绘制了密度的对数，该对数延伸了图像并压缩顶部，使其更容易看到峰和尾。

$n=10$

（您还将看到对置信区间的覆盖产生实质性影响。）

注意，具有相同峰度的不同分布将对显着性水平产生不同的影响。

那么为什么拒绝率会下降呢？这是因为较重的尾部导致一些较大的离群值，这对标准差的影响比对均值的影响大；这会影响t统计量，因为它会导致-1和1之间的t值更多，在此过程中会减少临界区域中值的比例。

$H_0$

让我演示给你看。这是10号的样本：

 1.13 1.68 2.02 2.30 2.56 2.80 3.06 3.34 3.68 4.23

$H_0: \mu=2$

现在将最大值设为50：

      1.13 1.68 2.02 2.30 2.56 2.80 3.06 3.34 3.68 50

显然，我们拉高了均值，所以它应该显示出比以前更大的差异，对吗？好吧，不，不是。t统计量下降。现在为1.106，并且p值非常大（接近30％）。发生了什么？好吧，我们确实将均值提高了（至7.257），但是标准差却超过了15。

标准差对离群值的敏感性比均值敏感-当您输入离群值时，您倾向于将单样本t统计量推向1或-1。

如果可能存在多个异常值，则只有有时它们可能在相反的一侧时才会发生相同的情况（在这种情况下，标准偏差甚至会比一个异常值更大，而对均值的影响则会减小），因此t统计量倾向于接近0。

其他假设正常的其他常见测试也使用类似的方法-峰度越高往往与较重的尾巴相关联，这意味着离群值越多，这意味着标准偏差相对于均值会膨胀，因此您希望获得的差异倾向于被异常值对测试的影响“淹没”。即低功耗。

— Glen_b-恢复莫妮卡
source

哇，非常感谢您给出的清晰明确的答案。感谢您的宝贵时间！

— DDK

还值得注意的是，虽然样本均值的大样本分布不取决于峰度（因此，均值的正态性假设检验的实际显着性水平收敛于名义水平，通常为0.05，因为n->无限，对于所有有限峰度），对于方差检验来说并非如此。估计方差的大样本分布取决于峰度，因此当峰度不同于零时，经典的，常态假设检验方差的实际显着性水平不会收敛为名义水平，即n->无穷大。

— Peter Westfall

同样，峰度越高，从数学上也并不意味着“与均值的偏差较小”。它唯一可以告诉您的是，尾部还有更多。

— Peter Westfall

您不能获得更大的偏差并保持方差恒定，除非您也做出较小的偏差。如果您不保持方差恒定，则相对于新比例尺，更多的偏差会变小。因此，是的，当谈到峰度时，数学确实告诉您，更大的随身携带的物品越小。

— Glen_b-恢复莫妮卡的状态

Z

$Z$

X

$X$

κ = E (Z^{4})

$\kappa=E(Z^4)$

\sqrt{κ - 1} = E (Z^{2})

$\sqrt{\kappa-1}=E(Z^2)$

κ

$\kappa$

Z

$Z$

Var (Z) = 1

$\text{Var}(Z)=1$

X

$X$

μ \pm k σ

$\mu\pm k\sigma$

k

$k$

X

$X$

X^{'}

$X'$

Z^{'}

$Z'$

峰度测量异常值。离群值对于基于正态分布的标准推断（例如t检验，t间隔）存在问题。到此为止！这确实是一个非常简单的故事。

这个故事之所以没有得到很好的理解，是因为峰度测量“峰度”的古老神话仍然存在。

这是一个简单的说明，说明峰度为何测量异常值而不是“峰度”。

考虑以下数据集。

0、3、4、1、2、3、0、2、1、3、2、0、2、2、3、2、5、2、3、1

峰度是（z值）^ 4的期望值。这是（z值）^ 4：

6.51、0.30、5.33、0.45、0.00、0.30、6.51、0.00、0.45、0.30、0.00、6.51、0.00、0.00、0.30、0.00、27.90、0.00、0.30、0.45

平均值是2.78，这是峰度的估计值。（如果要过度峰度，请减去3。）

现在，将最后一个数据值替换为999，这样它就变成了异常值：

0、3、4、1、2、3、0、2、1、3、2、0、2、2、3、2、5、2、3、999

现在，这是（z值）^ 4：

0.00、0.00、0.00、0.00、0.00、0.00、0.00、0.00、0.00、0.00、0.00、0.00、0.00、0.00、0.00、0.00、0.00、0.00、0.00、360.98

平均值是18.05，这是峰度的估计值。（如果要过度峰度，请减去3。）

显然，只有异常值才重要。与“峰值”或中间的数据无关紧要。

如果对第二个数据集执行标准统计分析，则应该会遇到麻烦。大峰度会提醒您该问题。

这是一篇详细阐述的论文：

Westfall，PH（2014）。峰顶峰，1905-2014年。RIP美国统计学家，第68页，191-195页。

— 彼得·韦斯特尔弗
source

为什么不只使用非参数测试？对于这些类型的问题，它们可能会更好。

— 卡尔，

如果您喜欢测试，那么这是一个可能的途径，它以经典形式迅速变得不那么有趣了。但这不是我真正关心的问题。一般而言，我对概率建模更感兴趣。一个应用：也许您真的对均值感兴趣，例如，在因变量是赚取美元的情况下，过程均值比过程中位数更有趣。那么，当数据异常容易发生时，数据告诉您有关流程的含义是什么？这是一个困难的问题，但很重要，而峰度与答案有关。不是非标准测试。

— 彼得·韦斯特伦

对于柯西分布，修整平均值比中位数更好地表示位置，而普通均值不是衡量位置。使用什么作为位置度量取决于分布是什么。峰度不能作为指标的一个示例是均匀分布，对于该分布，平均极值比中位数和均值更好地衡量位置。

— 卡尔，

不是重点。如果您对总计感兴趣，例如美元，那么普通均值就是您想要的位置度量。

— Peter Westfall '18

如果您有一个Cauchy分布变量，则可以证明所赚取的总金额，但是平均值不会是一个特别有用的位置度量，这意味着“期望值”没有与之相关的合理期望。

— 卡尔，

-3

峰态也表明尾巴不对称。在两尾假设检验中，一条尾巴将是一条长尾巴，而另一条将是一条短尾巴。尾巴之一可能是> alpha，但<beta。一条尾巴会通过p值，而另一条不会。

基本上，统计推断假设一个标准正态。如果它不是标准的法线，则可能会基于一些更复杂的推理机制进行推理。您可能可以使用泊松推理，但是使用非正态分布，您将无法使用基于正态的推理。

偏斜和峰度是非正常现象的量度。在我们知道必须测试正态性之前，我们学会采取手段并使用正态分布。一个法线需要从每个维度获取36个或更多数据点。您可以估计20个数据点，但仍然会出现歪斜和峰度。随着分布趋于正态，偏斜和分布消失。

一种解释将峰度定义为峰化。另一个没有。目前这是一场未解决的战斗。峰度是第四时刻，一个区域。我对这个问题还没有达到顶峰。

另一个想法是，随着偏斜，中位数会倾斜到形成三角形的众数。请享用。

— 大卫·洛克
source

尚不清楚这是否对已经非常出色的答案增加了有用的和不同的东西。它确实添加了一些令人费解的语句，例如“正常需要36个或更多数据点”（因此35不行吗？此声明的依据是什么？“偏斜为峰值”，我认为没有人声称这一点。“统计推断假定标正常“：不是一般的峰度是第四时刻，一个区域：无;如这里定义的峰度是一个无量纲的比值，基于有关平均值第四和第二时刻。

— 尼克考克斯

第四矩是整数，因此是面积。该区域如何转换为峰度或曲率，这让我迷失了。

— 大卫·洛克

他们对峰度的典型解释是峰度，但这在我看来是错误的。我将编辑我的原始回复以更改偏斜度，因为峰度表示峰度是...谢谢。

— David W. Locke '18

尾巴不对称。我从未见过关于统计推论中考虑不对称尾部的任何信息。发生峰度风险是因为随着收集更多数据点，尾巴将移动。偏斜和峰度大约没有足够的数据来达到标准正态。

— David W. Locke '18

事实并非如此：指数，伽玛，威布尔以及许多其他不正常的分布都有大量的理论和应用。

— Nick Cox