违反正常程度的一个好的指标是什么?该指标上可以附加哪些描述性标签?


12

内容:

在上一个问题中,@ Robbie在约600个案例中的一项研究中询问为什么正态性检验表明存在显着的非正态性,而这些图却表明正态分布。一些人指出,正态性的显着性检验不是很有用。对于较小的样本,此类测试没有足够的能力来检测轻微的正常违反情况,而对于较大的样本,它们将检测到足够小的无关紧要的正常违反情况。

在我看来,这个问题类似于关于显着性检验和效应大小的辩论。如果仅关注显着性测试,则在有大量样本时,您可以检测到与实际目的无关的微小影响,而对于小型样本,您将没有足够的能力。

在某些情况下,我什至看到教科书建议人们可以拥有一个“太大”的样本,因为微小的影响在统计上很重要。

在意义测试和效果大小的上下文中,一个简单的解决方案是专注于估计感兴趣的效果的大小,而不是迷恋是否存在效果的二元决策规则。对效应大小的置信区间就是这样一种方法,或者您可以采用某种形式的贝叶斯方法。此外,各种研究领域都建立了关于给定效果大小在实际意义上意味着好坏的想法,应用启发式标签,例如“小”,“中”和“大效果”。这也导致了明智的建议,即最大化样本大小,以便在估计给定感兴趣参数时最大化准确性。

这使我想知道,为什么在假设检验,尤其是正态检验方面,没有更广泛地采用基于效果大小的置信区间的类似方法。

题:

  • 数据违反常态程度的最佳单一指标是什么?
  • 还是谈论多个违反正常性的指标(例如,偏度,峰度,离群率)是更好的选择吗?
  • 如何计算指数的置信区间(或使用贝叶斯方法)?
  • 您可以为该索引上的点分配什么样的口头标签,以表明违反正常性的程度(例如,轻度,中度,强烈,极端等)?这样的标签的目的可能是帮助经验不足的分析人员在违反正常性问题时训练他们的直觉。

5
有趣的问题。
rolando2,2011年

1
@Jeromy,这是一个很好的问题,但是让我补充一下,在我看来,标准图形模型检查(例如qqplot或回归中的残差图)确实专注于“效应量”而不是值。在qqplot中,我将寻找与直线的偏差的类型和大小,以指导我的模型构建,而不仅仅是检测偏差。但是,冒着过于简化的风险,用一些“临界形状”及其典型后果来补充qqplot可能会有所帮助。p
NRH

1
@NRH我同意;这就是我要做的。但是,我经常向研究经验不足的研究人员提供统计咨询,这些经验不足以从情节判断异常程度。我认为带有各种定性标签的索引可以补充视觉直觉的训练。
Jeromy Anglim

Answers:


13

A)数据违反常态程度的最佳单一指标是什么?

B)或者说谈论多个违反正常性的指标(例如,偏度,峰度,离群率)是否更好?

我将投票给B。不同的侵权行为会产生不同的后果。例如,带有重尾的单峰对称分布使您的CI非常宽,可能会降低检测任何效应的能力。但是,均值仍然达到“典型”值。对于非常偏斜的分布,例如,平均值可能不是“典型值”的非常明智的指标。

C)如何计算指数的置信区间(或贝叶斯方法)?

我不知道贝叶斯统计量,但是关于正态性的经典检验,我想引用Erceg-Hurn等人的观点。(2008)[2]:

另一个问题是假设测试有自己的假设。正态性检验通常假设数据是同质的;均方检验假设数据是正态分布的。如果违反了正态性和同态性假设,则可能会严重损害假设检验的有效性。著名的统计学家已经将诸如SPSS的软件中内置的假设测试(例如Levene的测试,Kolmogorov-Smirnov测试)描述为致命缺陷,并建议不要使用这些测试(D'Agostino,1986; Glass&Hopkins,1996)。

D)您可以为该索引上的点分配什么样的语言标签以表明违反正常性的程度(例如,轻度,中度,强烈,极端等)?

Micceri(1989)[1]对440个心理学的大型数据集进行了分析。他评估了对称性和尾巴重量,并定义了标准和标签。不对称的标签范围从“相对对称”到“中等->极端->指数不对称”。尾巴重量的标签范围从“均匀->小于高斯->关于高斯->中度->极端->双指数污染”。每种分类均基于多个可靠的标准。

他发现,在这440个数据集中,只有28%是相对对称的,关于尾巴重量的高斯只有15%。因此,论文的标题很好:

独角兽,法线和其他不可能的生物

我编写了一个R函数,该函数可以自动评估Micceri的标准并打印出标签:

# This function prints out the Micceri-criteria for tail weight and symmetry of a distribution
micceri <- function(x, plot=FALSE) {
    library(fBasics)
    QS <- (quantile(x, prob=c(.975, .95, .90)) - median(x)) / (quantile(x, prob=c(.75)) - median(x))

    n <- length(x)
    x.s <- sort(x)
    U05 <- mean(x.s[(.95*n ):n])
    L05 <- mean(x.s[1:(.05*n)])
    U20 <- mean(x.s[(.80*n):n])
    L20 <- mean(x.s[1:(.20*n)])
    U50 <- mean(x.s[(.50*n):n])
    L50 <- mean(x.s[1:(.50*n)])
    M25 <- mean(x.s[(.375*n):(.625*n)])
    Q <- (U05 - L05)/(U50 - L50)
    Q1 <- (U20 - L20)/(U50 - L50)
    Q2 <- (U05 - M25)/(M25 - L05)

    # mean/median interval
    QR <- quantile(x, prob=c(.25, .75)) # Interquartile range
    MM <- abs(mean(x) - median(x)) / (1.4807*(abs(QR[2] - QR[1])/2))

    SKEW <- skewness(x)
    if (plot==TRUE) plot(density(x))

    tail_weight <- round(c(QS, Q=Q, Q1=Q1), 2)
    symmetry <- round(c(Skewness=SKEW, MM=MM, Q2=Q2), 2)

    cat.tail <- matrix(c(1.9, 2.75, 3.05, 3.9, 4.3,
                         1.8, 2.3, 2.5, 2.8, 3.3,
                        1.6, 1.85, 1.93, 2, 2.3,
                        1.9, 2.5, 2.65, 2.73, 3.3,
                        1.6, 1.7, 1.8, 1.85, 1.93), ncol=5, nrow=5)

    cat.sym <- matrix(c(0.31, 0.71, 2,
                        0.05, 0.18, 0.37,
                        1.25, 1.75, 4.70), ncol=3, nrow=3)


    ts <- c()
    for (i in 1:5) {ts <- c(ts, sum(abs(tail_weight[i]) > cat.tail[,i]) + 1)}

    ss <- c()
    for (i in 1:3) {ss <- c(ss, sum(abs(symmetry[i]) > cat.sym[,i]) + 1)}

    tlabels <- c("Uniform", "Less than Gaussian", "About Gaussian", "Moderate contamination", "Extreme contamination", "Double exponential contamination")

    slabels <- c("Relatively symmetric", "Moderate asymmetry", "Extreme asymmetry", "Exponential asymmetry")

    cat("Tail weight indexes:\n")
    print(tail_weight)
    cat(paste("\nMicceri category:", tlabels[max(ts)],"\n"))
    cat("\n\nAsymmetry indexes:\n")
    print(symmetry)
    cat(paste("\nMicceri category:", slabels[max(ss)]))

    tail.cat <- factor(max(ts), levels=1:length(tlabels), labels=tlabels, ordered=TRUE)
    sym.cat  <- factor(max(ss), levels=1:length(slabels), labels=slabels, ordered=TRUE)

    invisible(list(tail_weight=tail_weight, symmetry=symmetry, tail.cat=tail.cat, sym.cat=sym.cat))
}

这是标准正态分布,8 df 的和对数正态的检验:t

> micceri(rnorm(10000))
Tail weight indexes:
97.5%   95%   90%     Q    Q1 
 2.86  2.42  1.88  2.59  1.76 

Micceri category: About Gaussian 


Asymmetry indexes:
Skewness   MM.75%       Q2 
    0.01     0.00     1.00 

Micceri category: Relatively symmetric



> micceri(rt(10000, 8))
Tail weight indexes:
97.5%   95%   90%     Q    Q1 
 3.19  2.57  1.94  2.81  1.79 

Micceri category: Extreme contamination 


Asymmetry indexes:
Skewness   MM.75%       Q2 
   -0.03     0.00     0.98 

Micceri category: Relatively symmetric



> micceri(rlnorm(10000))
Tail weight indexes:
97.5%   95%   90%     Q    Q1 
 6.24  4.30  2.67  3.72  1.93 

Micceri category: Double exponential contamination 


Asymmetry indexes:
Skewness   MM.75%       Q2 
    5.28     0.59     8.37 

Micceri category: Exponential asymmetry

[1] Micceri,T.(1989)。独角兽,法线和其他不可思议的生物。心理公报,105,156-166。doi:10.1037 / 0033-2909.105.1.156

[2] Erceg-Hurn,DM和Mirosevich,VM(2008年)。现代可靠的统计方法:一种使研究的准确性和功能最大化的简便方法。美国心理学家,63,591-601。


3
+1,这确实是一个很好的答案。但是,我想问点1分。您指出,“带有重尾的单峰对称分布使您的CI非常宽,可能会降低检测任何效应的能力”。除非将它们引导,否则CI倾向于基于渐近性(正常假设),因此,您的dist尾巴较粗的事实不会影响CI的宽度或功率。而是,这意味着经验覆盖率将与假定的覆盖率不匹配。
gung-恢复莫妮卡
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.