我应该对高度偏斜的数据使用t检验吗?请科学证明吗?


15

我有一个高度偏斜的(看起来像指数分布)数据集有关用户参与的样本(例如,帖子数),样本大小不同(但不少于200个),我想比较它们的平均值。为此,我使用了两个样本的不成对t检验(以及当样本具有不同的方差时,使用带有Welch因子的t检验)。据我所知,对于非常大的样本,样本不是正态分布的都没关系。

有人回顾了我所做的事情后说,我使用的测试不适合我的数据。他们建议在使用t检验之前对样本进行对数转换。

我是一个初学者,因此使用“参与度指标的对数”回答我的研究问题确实让我感到困惑。

他们错了吗?我错了吗?如果它们是错误的,是否有我可以引用/展示的书籍或科学论文?如果我错了,应该使用哪个测试?


1
T检验具有正态分布假设 csic.cornell.edu/Elrod/t-test/t-test-assumptions.html。您可能会认为,当样本足够大时,t分布近似于正态分布。
rdorlearn 2014年

6
在这种情况下,“科学证明”是什么意思?
Glen_b-恢复莫妮卡2014年

1
我认为假设是,来自某个总体的所有可能样本所有均值应该是正常的。因此,通过CLT,对于我的数据集也是如此。
Milena Araujo 2014年

1
科学证明=与学术有关的东西:一本书,一篇论文等
Milena Araujo,2014年

Answers:


36

我不会将“指数”称为高度偏斜。例如,它的对数明显是左偏斜,其力矩偏斜仅为2。

1)使用指数数据且接近500 的t检验是n 可以的

a)检验统计量的分子应该是好的:如果数据是具有共同标度的独立指数(并且没有比其重得多的尾数),则它们的平均值将以形状参数等于观测数量的伽玛分布。当形状参数大于40左右时,它的分布看起来非常正常(取决于需要精确到尾部的距离)。

这可以进行数学证明,但是数学不是科学。当然,您可以通过模拟进行经验检查,但是如果您对指数不正确,则可能需要更大的样本。当n = 40时,这就是指数数据的样本总和(即样本均值)的分布:

在此处输入图片说明

非常轻微的倾斜。这种偏斜随着样本大小的平方根减小。因此,在n = 160时,它的倾斜度是一半。在n = 640时,其倾斜度为四分之一:

在此处输入图片说明

通过将其翻转到均值上方并将其绘制在顶部,可以看出它实际上是对称的:

在此处输入图片说明

蓝色是原始的,红色是翻转的。如您所见,它们几乎是偶然的。

--

b)更重要的是,两个这样的伽玛分布变量(例如,您使用指数方法获得)之差更接近正常,并且在零值(您需要的地方)下,偏度为零。这是:n=40

在此处输入图片说明

也就是说,在小于样本大小下,t统计量的分子非常接近于法线。n=500

--

c)然而,真正重要的是整个统计量在零值下的分布。分子的正态性不足以使t统计量具有t分布。但是,在指数数据的情况下,这也不是什么大问题:

在此处输入图片说明

红色曲线是df = 78时t统计量的分布,直方图是在指数样本上使用Welch t检验得到的结果(均等值为零;真实的Welch-Satterthwaite自由度为给定的样本往往会比78小一些)。特别是,您的重要性级别区域中的尾部区域应该相似(除非您有一些非常不寻常的重要性级别,否则它们是)。请记住,这是,而不是。在更好。n=40n=500n=500

但是请注意,对于实际指数数据,只有在均值不同的情况下,标准差才会不同。如果是指数推定,则在零假设下,无需特别担心不同的总体方差,因为它们仅在替代条件下发生。因此,均方差t检验仍然可以(在这种情况下,您在直方图中看到的上述良好近似甚至可能会更好)。


2)尽管可以记录日志,但仍然可以理解它

如果null为true,并且您具有指数分布,则说明正在测试比例参数的相等性。对日志的均值进行位置测试将针对日志中的位置偏移备选方案(原始值的比例更改)测试比例参数的日志是否相等。如果您在中的位置测试中得出结论,逻辑与得出。因此,使用t检验对原木进行测试可以很好地测试原始假设logλ1logλ2λ1λ2

[如果您在日志中进行该测试,那么在这种情况下,我倾向于建议进行均方差测试。]

因此-与上面我所讲的类似,仅用一两个句子就可以证明联系的合理性-您应该能够得出结论,而不是关于参与度量的对数,而是关于参与度量本身。


3)您还可以做很多其他事情!

a)您可以进行适合指数数据的测试。容易得出基于似然比的测试。碰巧的是,对于指数数据,在一种尾部情况下,您会针对这种情况获得小样本F检验(基于均值比);对于小样本量,两个尾部的LRT在每个尾部中通常不会有相等的比例。(这应该具有比t检验更好的功效,但是t检验的功效应该是相当合理的,我希望您的样本量不会有太大差异。)

b)您可以进行置换检验-如果愿意,甚至可以基于t检验。因此,唯一改变的是p值的计算。或者,您可以进行其他一些重采样测试,例如基于引导的测试。尽管应该部分取决于您选择的测试统计量(相对于您的分布),它应该具有良好的性能。

c)您可以进行基于等级的非参数检验(例如Wilcoxon-Mann-Whitney)。如果您假设分布不同,那么它们仅相差一个比例因子(适用于各种偏斜分布,包括指数),那么您甚至可以获得比例参数比率的置信区间。

[为此,我建议使用对数刻度(日志中的位置偏移为刻度偏移的对数)。它不会更改p值,但是它将允许您对点估计值和CI限取幂,以获取刻度位移的间隔。]

如果您处于指数状态,那么它也应该具有相当好的功效,但是可能不如使用t检验那么好。


对于位置偏移的替代方案(例如,在零值下具有方差和偏度异质性的情况),考虑了相当广泛的一组情况的参考文献是

Fagerland,MW和L.山特维克(2009),
“五两样本位置的测试用于与不等方差,偏斜分布性能”
当代临床试验30,490-496

通常倾向于推荐Welch U检验(Welch考虑的几种测试中的一项,也是唯一一项测试)。如果您使用的Welch统计数据不完全相同,则建议可能会有所不同(尽管可能相差不大)。[请注意,如果您的分布是指数分布的,那么除非您使用对数,否则您会对比例尺替代感兴趣...在这种情况下,您不会有不相等的方差。]


4
好答案!我真的很惊讶您在一篇文章中打包了多少信息
Christian Sauer 2014年

@Glen_b,这是一个了不起的答案!非常感谢你。还有一个问题:我的样本来自同一数据集。我想比较特征X用户和特征Y用户的样本。用户X的样本约为500,用户Y的样本约为10000。大小存在巨大差异,但形状似乎并没有太大差异(从密度和概率图来看)。反正使用t检验会不会有问题?
2014年

当您说“大小差异很大”时,您是在谈论样本大小(10000对500)还是每组中的典型值?(顺便说一句,这些数据是连续的还是离散的?此类数据的典型最小值是多少?日志的形状是否相似-即我们正在考虑的只是比例偏移?)
Glen_b -Reinstate Monica

1
对于这样的数据表,可能会更好。重要的信息是它不仅是离散的,而且几乎所有的值都在最少的问题数量中。如果您确实绘制了直方图,请绘制出没有摆动的直方图,并确保所有较低的值都是分开的(0、1、2的条形不合并)。最好切掉右边的内容,然后将剩余的内容更多地散布(几乎所有数据都在此位置),只要您清楚一点就可以了。包括有关您正在测量的内容以及您要达到的目标的信息...(ctd)
Glen_b -Reinstate Monica 2014年

1
@ScottH我的答案的第1.c部分明确解决了这一问题,并研究了在所讨论的案例中的
重要性
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.