有人可以向我解释为什么有人会选择非参数统计方法来进行假设检验或回归分析吗?
在我看来,这就像漂流并选择不防水的手表一样,因为您可能不会弄湿它。为什么不使用在每种情况下都可以使用的工具?
有人可以向我解释为什么有人会选择非参数统计方法来进行假设检验或回归分析吗?
在我看来,这就像漂流并选择不防水的手表一样,因为您可能不会弄湿它。为什么不使用在每种情况下都可以使用的工具?
Answers:
参数测试和非参数测试实际上很少具有相同的null。假设前两个时刻存在,参数检验将测试分布的均值。Wilcoxon秩和检验不假设任何时刻,而是检验分布是否相等。它的隐含参数是分布的怪异函数,一个样本的观测值低于另一个样本的观测值的概率。您可以谈论在完全指定的完全相同的零分布下的两个检验之间的比较...,但是您必须认识到这两个检验正在检验不同的假设。
参数测试带来的信息及其假设有助于提高测试的功能。当然,这些信息最好是正确的,但是如今,人类知识的领域已经很少,甚至根本没有此类初步信息。明确指出“我不想承担任何事情”的一个有趣例外是在法庭上,非参数方法继续广为流行-这对应用程序来说是非常有意义的。双关语可能是一个很好的理由,菲利普·古德(Phillip Good)撰写了有关非参数统计和法庭统计的好书。
在某些测试情况下,您将无法访问非参数测试所需的微数据。假设要求您比较两组人,以评估一组人是否比另一组更肥胖。在理想的世界中,您将获得每个人的身高和体重测量值,并且可以形成按身高分层的排列测试。在一个不太理想(即真实)的世界中,每组中可能只有平均身高和平均体重(或者可能是样本均值上方这些特征的某些范围或方差)。然后最好的办法是计算每个组的平均BMI并比较(如果您只有)。或假设身高和体重为双变量正态(如果您具有均值和方差)(如果样本中未提供相关数据,则可能需要从某些外部数据中获取相关性),
正如其他人所写:如果满足先决条件,则参数测试将比非参数测试更强大。
用您的手表比喻,不防水的手表除非被弄湿,否则会更加准确。例如,无论哪种方式,您的防水手表都可能关闭一小时,而不防水的手表则是准确的……并且您漂流后需要乘公共汽车。在这种情况下,最好将不防水的手表随身携带,并确保它不会弄湿。
优点:非参数方法并不总是那么容易。是的,替代at测试的置换测试很简单。但是,对于具有多个双向交互作用和嵌套随机效应的混合线性模型,非参数替代方法要比简单调用困难得多nlme()
。我已经使用置换测试做到了这一点,根据我的经验,即使参数模型的残差非常不正常,参数测试和置换测试的p值也一直很接近。参数测试通常具有惊人的弹性,可以抵御其前提条件的偏离。
尽管我同意在许多情况下使用非参数技术是有利的,但在某些情况下参数方法更有用。
让我们集中讨论“两样本t检验与Wilcoxon的秩和检验”(否则,我们必须写整本书)。
在假设检验中,非参数检验通常会测试不同的假设,这就是为什么不能总是仅将非参数检验替换为参数检验的原因之一。
更一般地,参数过程提供了一种将结构强加于其他非结构化问题上的方法。这非常有用,可以看作是一种简化的启发式方法,而不是认为该模型是真实的。例如,使用一些回归函数(即使假设存在这样的函数是一种参数限制),基于预测变量预测连续响应的问题。如果我们完全不假设X ˚F ˚F ˚F (X )= Σ p Ĵ = 1个 β Ĵ X Ĵ则我们尚不清楚如何估算此功能。我们需要搜索的可能答案集太大了。但是,如果我们将可能答案的空间限制在(例如)线性函数,则实际上可以开始取得进展。我们不需要相信该模型完全成立,我们只是在进行近似,因为需要得出一些答案,但并不完美。
半参数模型具有许多优点。他们提供了诸如Wilcoxon检验之类的测试作为特例,但是允许估计效应比,分位数,均值和超出概率。它们扩展到纵向数据和审查数据。它们在Y空间中很健壮,并且除了估计方式外,变换不变。有关详细的示例/案例研究,请参见http://biostat.mc.vanderbilt.edu/rms链接至课程讲义。
。示例包括比例赔率模型(特殊情况:Wilcoxon和Kruskal-Wallis)和比例风险模型(特殊情况:对数秩和分层对数秩检验)。
在提供的大量答案中,我还要提请注意贝叶斯统计。仅靠可能性无法解决某些问题。惯常论者使用反事实推理,其中“概率”是指替代宇宙,而替代宇宙框架对于推断个人的状态(例如罪犯的无罪或无罪,或是否存在基因频率瓶颈)毫无意义。遭受大规模环境变化的物种导致其灭绝。在贝叶斯语境中,概率是“信念”而不是频率,可以将其应用于已经沉淀的频率。
现在,大多数贝叶斯方法需要为先验和结果完全指定概率模型。而且,大多数这些概率模型都是参数化的。与其他人的说法相一致,它们不必完全正确才能生成有意义的数据摘要。“所有模型都是错误的,有些模型是有用的。”
当然,有非参数贝叶斯方法。这些统计上有很多皱纹,通常来说,需要有意义地使用近乎全面的人口数据。
非参数统计有其自身的问题!其中之一是强调假设检验,通常我们需要估计和置信区间,而在具有非参数的复杂模型中获取它们是很复杂的。在http://andrewgelman.com/2015/07/13/dont-do-the-wilcoxon/上有一篇关于此的很好的博客文章,并进行了讨论。 该讨论导致了另一篇文章,http:// notstatschat。 tumblr.com/post/63237480043/rock-paper-scissors-wilcoxon-test,这是推荐的很对魏氏不同的观点。简短的版本是:Wilcoxon(以及其他等级检验)可能导致不传递。
我要说的是,非参数统计数据比参数统计数据做出更少的假设,因此更普遍适用。
但是,如果使用参数统计并满足基本假设,则参数统计将比非参数统计功能更强大。
参数统计通常是合并外部[数据]知识的方法。例如,您知道错误分布是正常的,并且该知识来自先前的经验或其他考虑因素,而不是来自数据集。在这种情况下,通过假设正态分布,您会将外部知识整合到参数估计中,这必须改进您的估计。
在您的手表类比上。如今,除带有珠宝或特殊材料(如木材)的特殊零件外,几乎所有手表均具有防水功能。穿上它们的原因恰恰是:它们很特别。如果您要说防水的话,那么很多手表都是不防水的。佩戴它们的原因再次是它们的功能:您不会佩戴带套件和领带的潜水表。另外,如今,许多手表都向后敞开,让您可以欣赏水晶上的机芯。自然,这些手表通常不防水。
这不是假设检验方案,但可能是回答您的问题的一个很好的例子:让我们考虑聚类分析。有许多“非参数”聚类方法,例如层次聚类,K-means等,但是问题总是在于,如何评估您的聚类解决方案是否比其他可能的解决方案“更好”(并且通常有多种可能的解决方案) 。每种算法都能为您提供最好的解决方案,但是您如何知道是否还有更好的方法呢?现在,还有参数化的聚类方法,即所谓的基于模型的聚类,例如有限混合模型。使用FMM,您可以建立一个统计模型来描述数据的分布并将其适合数据。建立模型后,您可以评估在该模型下数据的可能性,可以使用似然比检验,比较AIC以及使用多种其他方法来检查模型拟合和模型比较。非参数聚类算法只是使用一些相似性标准对数据进行分组,而使用FMM则使您能够描述并尝试理解数据,检查数据的拟合度,进行预测...实际上,非参数方法简单,有效FMM可能会带来问题,但是基于模型的方法通常仍可以为您提供更丰富的输出。
对于非参数模型,对新数据进行预测和预测通常非常困难或不可能。例如,我可以使用Weibull或Lognormal生存模型预测未来10年的保修索赔数量,但是使用Cox模型或Kaplan-Meier无法做到。
编辑:让我更清楚一点。如果公司的产品有缺陷,那么他们通常会希望根据当前的保修索赔和销售数据预测未来的保修索赔率和CDF。这可以帮助他们确定是否需要召回。我不知道您如何使用非参数模型来执行此操作。
老实说,我认为这个问题没有正确答案。从给定的答案来看,共识是参数测试比非参数等效功能更强大。我不会反对这种观点,但我将其更多地视为一种假设而非事实观点,因为这不是学校明确教导的内容,而且没有同行评审会告诉您“您的论文被拒绝,因为您使用了非参数测试”。这个问题是关于统计界无法明确回答但已视为理所当然的事情。
我个人的观点是,无论是参数化还是非参数化的偏好,都比传统更重要(因为缺少更好的用语)。用于测试和预测的参数技术首先出现并且历史悠久,因此要完全忽略它们并不容易。特别是,预测具有一些令人印象深刻的非参数解决方案,这些解决方案如今已广泛用作首选工具。我认为,这是机器学习技术(例如本质上非参数的)(如神经网络和决策树)近年来获得广泛普及的原因之一。
这是统计能力的问题。非参数测试通常具有比参数测试低的统计功效。