Kolmogorov–Smirnov检验与t检验


14

我在理解2个样本KS检验的解释以及与2组之间的常规t检验有何不同方面遇到一些困难。

可以说我有男性和女性在做一些任务,而我从这项任务中收集了一些分数。我的最终目标是确定男性和女性在这项任务上的表现是否不同

因此,我可以做的一件事就是在两组之间进行测试。我可以做的另一件事是计算男性和女性的ECDF,绘制它们,然后进行2个样本KS测试。我会得到这样的东西:

在此处输入图片说明

KS测试

KS检验的原假设是2组连续得分分布来自同一人群

进行KS测试时,我得到:D = 0.18888,p值= 0.04742

首先,我想检查一下我对结果的解释是否正确。在这里,我将拒绝原假设,并说男性和女性得分分布来自不同的人群。换句话说,男性和女性得分的分布彼此不同。

更具体地说,男性在此任务上获得较低分数的可能性更高,这就是我从情节中得出的两种性别之间的差异

T检验

现在在测试中,将在得分变量上测试男性和女性均值之间的差异。

让我们想象一下在此任务中男性表现比女性差的情况。在这种情况下,男性得分的分布将以低均值为中心,而女性得分的分布将以高均值为中心。这种情况与上面的情节是一致的,因为男性获得较低分数的可能性更高。

如果t检验显着,我可以得出结论,女性平均得分明显高于男性。或从人口角度而言,女性分数是从平均数高于男性人口的人口中得出的,这听起来与堪萨斯州得出的结论是来自不同人口的结论非常相似。

有什么不同?

因此,我在KS和t测试用例中得出的结论是相同的。男性相对于女性表现较差。那么,使用一种测试优于另一种测试有什么好处?使用KS测试是否可以获得任何新知识?

我认为,男性的分布以低均值为中心,女性的分布以高均值为中心是导致显着t检验的原因。但是,基于同样的事实,男性得分较低值的可能性更高,这将使该图看起来像上面,并进行有效的KS检验。因此,两种检验的结果都具有相同的根本原因,但也许有人可能会说,KS检验不仅考虑了分布的均值,而且还考虑了分布的形状,但是有可能解析出原因仅从测试结果中得出哪些重要的KS测试?

那么在测试中运行KS测试有什么价值呢?并假设我可以满足这个问题的t检验的假设


经典的t检验在很大程度上不如贝叶斯数据分析,请查看John Kruschke的“贝叶斯估算取代t检验” indiana.edu/~kruschke/BEST/BEST.pdf
Vladislavs Dovgalecs

我不确定KS测试与贝叶斯方法有何关系...?
西蒙

只是停止使用KS和t检验
Vladislavs Dovgalecs 16-4-21

4
@xeon如果您要发表如此有力的声明,则最好支持它们。您的建议对我回答中的示例中的差异没有用。为什么要放弃一种显然可以识别出分配差异的方法,而不选择一种方法呢?
Glen_b-恢复莫妮卡

1
@Glen_b这就是为什么a写评论而不是回答的原因。可能是OP没有读过这篇很棒的论文;我只是想建议一下。但我同意我的发言过于强烈,表现得有点势利。抱歉,我不礼貌。不会再发生了。
Vladislavs Dovgalecs's

Answers:


18

例如,为什么要使用两个样本Kolmogorov-Smirnov测试:

想象一下,总体均值是相似的,但方差却大不相同。Kolmogorov-Smirnov检验可以弥补这种差异,但t检验不能。

或想象一下,分布具有与sd相似的均值,但雄性具有双峰分布(红色),而雌性(蓝色)没有:

在此处输入图片说明

男性和女性的表现不同吗?是的-雄性的得分往往在7.5-8或12.5-13左右,而雌性的得分往往更多地朝向中部(接近10左右),但在该值上的聚类比两个值少得多。男性倾向于得分接近。

因此,与t检验相比,Kolmogorov-Smirnov可以发现分布上更多的常规差异。


嗯,有道理。我是否可以扩展该逻辑,并说如果t检验有效,则KS检验也可能有效,但是这可能是由于分布的均值差异和/或任何其他差异所致,因此可以解释KS测试困难吗?那么,只有在两组之间没有均值差异的情况下,KS测试才真正有用吗?
西蒙

t检验对均值差异更敏感(尤其是如果总体分布接近正态且具有相似的标准偏差)。KS测试可能更难解释,但我不同意您的最后一句话。您可能在手段上存在细微差异,但同时又存在其他差异。t检验仅在告知方法上有所不同,而KS检验可通过其他种类的差异告知。想象上面的例子,但是在手段上也有微小的变化。t检验可能不会像KS检验那样容易地获得差异。
Glen_b-恢复莫妮卡

@Glen_b:那么可以说KS测试分布是否相等,而t检验测试分布是否具有相同的均值?

@fcop是和否;在给定假设的情况下,在零值下,普通的等方差t检验实际上也在测试分布的同一性-替代方法的普遍性(与假设结合)确实使它们有所不同。当然,当它们的假设不太适用时,我们可以(通常使用)这些测试,然后我们更多地看一下它们在null和Alternative下的行为。t检验倾向于对替代方案下均值的变化敏感,而KS对一系列广泛的替代方案则比较敏感。
Glen_b-恢复莫妮卡
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.