向各种受众介绍高级统计信息的策略


26

我主要与医学,社会科学和教育等领域的非统计学家合作。

无论是咨询研究生,帮助研究人员撰写文章还是评论期刊文章,我都经常遇到这样的问题:某人(客户,作者,论文委员会,期刊编辑)想使用某种相对知名的技术,或者完全不当或存在更好但鲜为人知的方法。通常,我会解释替代技术,但随后会被告知“每个人都以其他方式这样做”。

我会对其他人如何处理这种困难感兴趣。

加法

@MichaelChernick建议我可以分享一些故事,所以我会

目前,我正在与一个正在复制上一篇论文并添加一个独立变量以查看是否有帮助的人一起工作。坦白说,前一篇论文很糟糕。它将依赖数据视为独立数据。这太过拟合了,还有其他问题。然而,他(我的客户)提交了较早的论文作为学位论文,不仅获得了学位,而且因这项研究而受到广泛赞誉。

很多次,我试图不说服人们二分法变量。这在医学上经常出现。我耐心地指出,将出生体重分为低体重和正常体重(通常为2500克),这意味着将一个2499克婴儿当作一个1400克婴儿对待。但是对待这只2,501克婴儿的方法却大不相同。临床医生同意我的观点,这很愚蠢。然后说要那样做。

我很早以前有一个研究生客户,其委员会坚持进行聚类分析。学生不理解该方法,该方法未回答有用的问题,但这就是委员会想要的,这就是他们所要的。

统计图形的整个领域对许多人来说,“这就是祖父的工作方式”就足够了。

然后有些人似乎只是按一下按钮。我记得一次演讲(不是由我帮助的人!)做了一份完整的调查问卷,并进行了因素分析。她包括的变量之一是ID号!


6
Peter,Meta 对此站点有疑问我怀疑您可能一直在考虑“社区Wiki”状态,该状态用于有用,有趣的问题,这些问题不可能客观地给出最佳答案(或者可能根本需要协作才能回答)。因此,我已经将您的建议解释为CW请求并予以实施。
Whuber

1
关于二分法的简要说明:实际上,我认为这是一些“稍微”了解统计数据的人的直觉。在您提到的领域中,我会想象很多分析将围绕决策制定(例如,我应该开始治疗X病还是Y病?)。这是二分母-通常是有用的二分法。如果您只有少量变量,那么适当的决策分析或假设检验可能很好地模仿了这一点-我们可能会“如果x> 10则采用选项1,否则采用选项2”。
概率

1
如果您无法使用计算机,基于二分变量的分析也很容易记住。
概率

2
在心理学中,人们经常将其二分或量化,因为他们使用方差分析而不是回归分析。这让我发疯。在范德比尔特wiki stat biostat.mc.vanderbilt.edu/wiki/Main的某个地方,有一个精彩的例子说明了二分法造成的可怕损害。但不幸的是,我似乎找不到它。无论如何,我认为它在那里。当我有机会的时候应该
注意到

2
根据我在保险业的有限经验,我发现,一旦开发了特定的预测模型,它就具有了自己的生命力,即使该模型已成为一种模型,也将在未来几年中继续复制(也许具有更新的系数)。过时的。例如,改造旧的模式,集医疗保险政策利率是一个大问题,因为一些人的利率可能会突然蹿升,新车型将必须是合理的监管机构等
RobertF

Answers:


16

这是一个棘手的问题!

首先,对为什么会发生这种情况进行一些思考。我在一个(或至少应该)广泛使用统计信息的领域工作,但是大多数从业者都不是统计专家。因此,人们看到了很多“我将向量放入excel的t检验函数,但这个数字掉了。因此我的论文得到了统计的支持。”

我认为发生这种情况的主要原因是,缺乏统计知识的原因是从顶部开始的。如果您的审稿人和论文委员会不了解最新的统计技术,那么您需要证明使用“非常规”的任何内容都是合理的。例如,在一篇论文中,我选择使用小提琴图代替箱形图来显示分布的形状。使用此技术需要在论文中进行大量的文档记录,并且需要进行长时间的讨论以防备我的辩护,尽管本文中有描述,也有对原始资料的引用,但所有委员会成员都想知道这个奇怪的情节的含义。 。如果我只是使用箱形图(严格来说, 在这种情况下提供信息,并且如果分布是多峰的,则可以很容易地欺骗观众有关分布形状的信息),没人会说什么,我的辩护会更容易。

关键是,在非统计领域,从业者面临一个艰难的选择:我们可以阅读并使用正确的方法,这需要进行大量工作,而我们的上流人士对此都不感兴趣。或者我们可以顺其自然,在我们的论文和论文上贴上橡皮图章,并继续使用不正确但常规的方法。

现在,回答您的问题:

我认为一种好的方法是强调未使用正确技术的后果。这可能需要:

  • 给出一个真实的例子,说明所在领域的某人如何体验不良推理的后果。在某些领域,这比其他领域容易。职业受到破坏的例子尤其好。

  • 解释不正确的分析可能会使您陷入无法将结果转移到现实世界的情况,这可能会造成危害(例如,在我的领域中,如果您的AI系统原型在统计学上比竞争对手更好,但实际上是同样,然后在接下来的6个月中花一个完整的实施时间是一个非常糟糕的主意。

  • 选择可以节省用户大量时间的技术。足够的时间,这样他们就可以用自己节省下来的钱向高层解释技术。


1
好的讨论,好的答案+1。
Michael R. Chernick


1
+1指出后果。它可以使人们改用更好的方法创造奇迹。
Leo

9

从心理学家的角度讲,只需稍加统计即可:在介绍方法时,还介绍工具。如果您告诉我这个领域的大多数研究人员关于一个伟大的新方法的长篇故事,那么他们将一整天都在担心这个口号是“而您要做的就是刷一下微积分,然后进行两次计算。周培训课程!” (或“并购买$ 2000的统计数据包!”或“并适应5000行Python和R代码!”)。如果他们已经使用过的stats软件包中或在带有可理解GUI的免费软件中实现了该方法的实现,而他们在一两天内就可以加快使用它的速度,他们可能会愿意尝试一下。

我知道这种方法看似卑鄙且不科学,但是当人们担心补助金和出版物时,很容易陷入困境,而且他们认为学习大量的数学方法不会帮助他们继续工作。


2
@octem研究人员不能相信统计学家会在合作中做这部分。研究者为什么需要该工具。我把这和医生比作颠倒桌子。如果我说给我一个有关如何进行此手术的快速教程,他会感觉如何,我将继续为您做这件事。我认为震惊和冒犯,而且未经许可练习梅西丁对我来说是非法的。那可能是一件好事。但是统计学家不应该受到同等的尊重。为什么期望我可以给他工具,让他在缺乏培训的情况下摆脱困境。
Michael R. Chernick

2
在社会心理学中,通常没有统计学家(因为通常没有足够的资金来支付统计学家的费用)。现在我在公共健康/健康心理学领域。大笔赠款通常包括统计学家的薪水,但是我们的许多工作都是在小额的试点赠款上完成的,而我们甚至无法负担PI的薪水。这就是我的观点...如果您所在的领域中大多数项目都包括训练有素的统计学家,那么我同意,这种抵制是不合理的。
2012年

1
@octem感谢您的回复。只是跟进这个比喻。曾经有段时期,在美国,堕胎是非法的,有些妇女去了其他国家或在没有育儿条件的情况下非法地在后台进行了堕胎,对健康的危害很大。看起来好像不是一个很好的类比,但不能负担得起统计学家的辩解而做一个次等的工作呢?我知道医学更多地是生死攸关的事情,但是不好的科学也有不好的后果吗?滥用数据可能会导致使用不良药物,因为不应该使用不安全的药物。
Michael R. Chernick

@MichaelChernick看,我也不满意社会科学中的统计分析状态。但是问题是如何让研究人员采用一种新的统计方法,而我给出的答案适合大量的研究人员群体(无论我们是否喜欢)。
2012年

1
@octem足够公平,我想我明白。在我问这个问题之前,我给了你一个赞成票。研究者认为廉价的方式就是走的路,这是我所质疑的态度,而不是您意识到问题存在的事实。是的,我在那里同意你的看法。但是从长远来看,我认为我们只需要获得更多的尊重和承认,我们的工作就不容易了。
Michael R. Chernick

6

谢谢彼得的这个好问题。我在医学研究机构工作,并与从事研究并在医学期刊上发表的医生打交道。通常,与“完全正确地进行统计”相比,他们对发表论文更感兴趣。因此,当我提出一种不熟悉的技术时,他们将指向类似的论文,并说“看起来他们是这样做的,并发表了他们的结果”。

我认为当已发表的论文确实很糟糕并且有错误时,会有一个问题。即使我享有很高的声誉,也很难争论。一些文档有很大的自负,认为他们可以学习几乎所有东西。因此,他们认为自己可以理解统计数据,即使不这样做也可以坚持。它可能会令人沮丧。在测试中并且Wilcoxon更合适时,我让他们进行Wilk Shapiro测试,如果正常性被拒绝,则我们将两种方法都包括在内,并解释为什么Wilcoxon更好。我有时可以说服他们,而且经常需要他们来依靠我进行统计,因此与一般顾问相比,我的影响力要大一些。

我也遇到了这样的情况:我为它们绘制了Kaplan-Meier曲线,我们使用了对数秩检验,但Wilcoxon给出了不同的结果。我很难做出决定,在这种情况下,我认为最好介绍两种方法并解释它们为何不同。将Peto与Greenwood置信区间用于生存曲线也是如此。解释Cox比例风险假设可能很困难,并且它们常常会误解优势比和相对风险。

没有简单的答案。我这里有一位老板,他是心脏病学方面的顶级医学研究员,他有时会推荐期刊。他正在看一篇涉及诊断并使用AUC作为衡量指标的论文。他以前从未见过AUC曲线,并来找我看是否有效。他有疑问。事实证明这是适当的,我尽力向他解释了。

我曾尝试向医生讲授生物统计学,并在公共卫生学校教授生物统计学。我试图做得比别人做得更好,并且在2002年与流行病学家合着了本书,为健康科学专业入门课程编写了一本书。威利要我现在做第二版。在2011年,我出版了一本更简洁的书,试图涵盖所有要点,以便繁忙的MD可以花一些时间来重新审视和参考它。这就是我的处理方式。也许您可以与我们分享您的故事。


这些是@Michael的优点。我将添加一些故事
彼得·弗洛姆-恢复莫妮卡

1
@PeterFlom我想我们可能会有一些非常相似的经历。我也认为您在别人的回答中得到了其他一些很好的答复。
Michael R. Chernick

6

这里已经有一些不错的评论了,但是我会花2美分。首先,我假设我们正在谈论的情况是,使用传统的“罐头”技术会破坏分析得出的实质性结论。如果不是这种情况,那么我认为有时出于过于简洁和易于理解的目的(当目标受众是外行时)进行过于简单的分析是合理的。当类内相关为.02时假设独立或当真为时认为线性是这样的罪行吗我会说不。log(x); x(1,2)? 


在我的职业生涯中,我进行了许多跨学科研究,并引导我在不同时期与药物滥用研究人员,流行病学家,生物学家,犯罪学家和医师紧密合作。这通常涉及对数据的分析,其中通常的“固定”方法可能由于各种原因而失败(例如,偏差采样和聚类的纵向和/或空间索引数据的某种组合)。我还花了几年时间咨询研究生院的兼职工作,在那里我与来自各个领域的人一起工作。所以,我不得不考虑很多。

我的经验是,最重要的事情是解释为什么通常的罐装方法不合适,并吸引人进行“良好科学”的愿望。没有任何受人尊敬的研究人员想要发布由于不恰当的统计分析而公然误导其结论的内容。我从未见过有人说过这样的话:“我不在乎分析是否正确,我只是想发表此论文”,尽管我确信这样的人确实存在-我的回答是尽可能终止专业关系。作为统计学家,如果真正知道他们在说什么的人碰巧读了这篇论文,可能是我的声誉受到损害。

我承认说服某人某项特定分析不适当可能具有挑战性,但是我认为作为统计学家,我们应该(a)掌握必要的知识,以确切了解“固定”方法可能出什么问题,并且(b)拥有解释它的能力是一种合理的理解方式。除非您是统计学或数学教授,否则您的工作将是与非统计学家一起工作(甚至有时您是统计学/数学专家)。

关于(a),如果统计学家不具备这些知识,为什么他们不鼓励采用固定方法?如果统计学家说“使用随机效应模型”但不能解释为什么假设独立性是一个问题,那么他们难道不如客户那样屈服于教条吗?无论是不是统计学家,任何评论家都可以对统计建模方法进行make病式的批评,因为,让我们面对现实吧-所有模型都是错误的。但是,这需要专业知识才能准确知道可能出什么问题。

关于(b),我发现可能会出问题的图形描述通常最“打击家”。例子:

  • 在Peter给出的有关对连续数据进行分类的示例中,显示为什么这是一个坏主意的最佳方法是以连续形式对数据进行图形处理并将其与分类形式进行比较。例如,如果您将响应变量设为二进制,然后绘制连续变量vs.,并且,如果它看起来不像步进函数那么糟糕,那么您知道离散化会丢失有价值的信息。如果这种差异不是很大或者不会导致实质性结论的任何变化,那么您也可以从图中看出这一点。x

  • 当建议的模型“形式”(例如线性)不合适时。例如,如果回归函数“高原” 对于像,而对于则为,那么线性拟合的斜率将太浅,这取决于数据在下面的意义-值尽管有是之间存在明显的关系,和。X 0 1 ÿ = 1 X > 1个p X ÿy=xx(0,1)y=1x>1pxy

  • 另一个常见的情况(彼得也提到过)正在解释为什么假设独立是一个坏主意。例如,您可以用图显示正自相关通常会产生更“聚类”的数据,并且由于这个原因方差会被低估,这可以直观地说明为什么天真的标准误差趋于太小。或者,您也可以使用假设独立性的拟合曲线来绘制数据,并且可以直观地看到聚类如何以独立数据中不存在的方式影响拟合(有效降低样本量)。

还有一百万个示例,但是我在这里处理时间/空间限制:)如果图片由于某种原因(例如显示为什么一种方法功能不足)根本不起作用,那么我也采用了模拟示例时。


3

有些随机的想法,因为这是一个复杂的问题……

我觉得一个大问题是,缺少各种专业学科和研究生课程的数学教育。

如果没有对统计数据的数学理解,它将变成一堆要根据情况应用的公式。

另外,为了真正理解该问题,教授们应该谈论原始作者在发表其方法时所面临的原始问题。从中可以学到的知识远比从阅读有关该主题的数千本书中获得的更多。

统计是解决问题的工具箱,但它也是一门艺术,并且面临着与任何其他艺术相同的问题。

可以学习如何用乐器发出声音。但是通过能够“演奏”一种乐器不会成为音乐家。

然而,找到未将节奏,旋律和和声的概念研究为己任的人并不少见。

在同一行中,要发表论文,大多数人不需要了解或理解公式背后的概念...如今,科学家只需要知道他们必须按什么键以及什么时候必须按该键即可。

因此,这与MD的“自我”无关。这是一个亚文化问题,这个问题与科学界的教育,习俗和价值观更相关。

在一个为了满足某些学术要求/政策而出版成千上万无用的论文和书籍的时代,人们可以期待什么?在一个时代,发表论文的数量比论文的质量更重要吗?

主流科学家不再担心好的科学。他们是数字的奴隶。它们受到我们这个时代的管理错误的影响(或感染)...

因此,从我的角度来看,一门好的统计学课程应该包括所研究方法的数学,历史和哲学基础,并始终着重指出人们可以采取的几种方法。解决单个问题。

最后,如果我是统计学/概率论教授,那么我的第一堂课将致力于解决诸如洗牌投硬币。那将使听众处于正确的聆听位置……可能。

By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.