Shapiro-Wilk正常检验与Kolmogorov-Smirnov正常检验有什么区别?


Answers:


23

由于Kolmogorov-Smirnov用于完全指定的分布,因此您甚至无法真正比​​较两者(因此,如果您要测试正态性,则必须指定均值和方差;无法从数据中估算它们)*,而Shapiro-Wilk用于正态性,具有不确定的均值和方差。

*您也无法通过使用估计的参数进行标准化并测试标准正态;这实际上是同一件事。

比较的一种方法是用在正常情况下指定均值和方差的检验(以某种方式组合检验)补充Shapiro-Wilk,或者通过调整KS表以进行参数估计来进行补充(但随后不再分配) -自由)。

有一个这样的测试(相当于带有估计参数的Kolmogorov-Smirnov)– Lilliefors测试;正常性测试版本可以与Shapiro-Wilk进行有效比较(通常功率较低)。更具竞争力的是安德森·达林(Anderson-Darling)测试(还必须针对参数估计进行调整,以使比较有效)。


至于他们要检验的东西-KS检验(和Lilliefors)着眼于经验CDF与指定分布之间的最大差异,而Shapiro Wilk有效地比较了两个方差估计值。密切相关的Shapiro-Francia可被视为QQ图中平方相关的单调函数;如果我没记错的话,Shapiro-Wilk还考虑了订单统计信息之间的协方差。

编辑添加:尽管Shapiro-Wilk在感兴趣的替代方案上几乎总是击败Lilliefors测试,但在中型样本( -ish)中的却不是这样。那里的小人有更高的权力。t30n>60

[应该记住,可用的正常性测试比这些更多。


这是一个有趣的答案,但是我在理解如何将其与实践相结合方面遇到了一些麻烦。也许这些应该是不同的问题,但是在KS测试中忽略参数估计的结果是什么?这是否意味着Lillefors检验的能力要比根据数据估计参数的不正确KS进行的功率低?
russellpierce

@rpierce-以已知方式处理估计参数的主要影响是,如果考虑到实际的显着性水平(以及功效曲线),则显着降低其实际水平(如Lilliefors所做的那样)。也就是说,Lilliefors是KS的“正确方法”,可用于参数估计,并且其功率比KS更好。另一方面,Liliefors的能力比Shapiro-Wilk检验差得多。简而言之,KS并不是一开始就特别强大的测试,而由于忽略了我们进行的参数估算,我们使情况变得更糟。
Glen_b-恢复莫妮卡

...当记住“更好的权力”和“更糟的权力”时,我们通常指的是反对人们通常认为是有趣的替代选择的权力。
Glen_b-恢复莫妮卡

1
我已经看到了幂曲线;我只是没有想到降低它或提高它意味着什么,相反,上帝坚持了关于您的第二条评论的开始:“记住”。我莫名其妙地转过身来,以为你在说“更好”的力量意味着力量曲线在“应该”的位置。可能是我们在KS中作弊并获得了不切实际的能力,因为我们将参数传递给了它以进行估算(应该是因为惩罚)(因为这是我习惯于因为未能承认参数来自估算而得的结果) 。
russellpierce

1
不确定我以前是如何错过这些评论的,但是是的,通过使用带有估计参数的KS测试计算出的p值,就好像它们是已知/指定的一样,往往会太高。在R中尝试:hist(replicate(1000,ks.test(scale(rnorm(x)),pnorm)$p.value))-如果p值符合应有的值,那看起来就一样!
Glen_b-恢复莫妮卡

24

简而言之,Shapiro-Wilk检验是针对正态性的特定检验,而Kolmogorov-Smirnov检验所使用的方法更通用,但功能更弱(这意味着它很少正确地拒绝正态性的零假设)。两种统计均以正态为零,并基于样本建立检验统计,但是二者的操作方式有所不同,使它们对正态分布的特征或多或少敏感。

确切地计算出W(Shapiro-Wilk的检验统计量)是如何涉及的,但从概念上讲,它涉及按大小排列样本值并根据预期均值,方差和协方差来衡量拟合度。据我所知,这些与正态性的多重比较给测试带来了比Kolmogorov-Smirnov检验更大的能力,这是它们可能有所不同的一种方式。

相比之下,正态性的Kolmogorov-Smirnov检验是通过将预期累积分布与经验累积分布进行比较来评估拟合优度的一般方法得出的,即:

替代文字

因此,它在分布的中心而不是尾部敏感。但是,KS测试是收敛的,从某种意义上说,随着n趋于无穷大,测试收敛到概率的真实答案(我相信Glivenko-Cantelli定理在这里适用,但是有人可以纠正我)。这是这两种测试的正常性评估可能有所不同的另外两种方式。


3
此外...在估计小样本中偏离正态性时,经常使用Shapiro-Wilk检验。好答案,约翰!谢谢。
aL3xa

+1,关于KS的另外两个注意事项:它可以用来测试任何主要分布(而SW 用于正态分布),而较低的功率可能是带有较大样本的好东西。
gung-恢复莫妮卡

低功耗是一件好事吗?只要类型I保持不变,高功率是否总是会更好?此外,KS的功能通常并不逊色,仅可能是瘦骨病?例如,KS对于偏斜的功能要强大得多,而不会相应地增加Type 1错误。
John

Kolmogorov-Smirnov用于完全指定的发行版本。夏皮罗威尔克不是。无法将它们进行比较...因为一旦您进行了必要的调整以使其具有可比性,就不再需要进行另一项测试
Glen_b-恢复莫妮卡

发现此模拟研究,以防在细节方面增加任何有用的内容。与上述相同的一般结论:Shapiro-Wilk检验更敏感。 ukm.my/jsm/pdf_files/SM-PDF-40-6-2011/15%20NorAishah.pdf
Nick Stauner 2013年
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.