软件最终会使统计人员过时吗?不能编程到计算机上的操作已完成?
软件最终会使统计人员过时吗?不能编程到计算机上的操作已完成?
Answers:
@Adam,如果您想到的统计研究人员与其他领域的研究人员类似(基于现有方法和知识的人们),那么可能会更清楚地表明,第一个问题的答案是“否”。
仅仅通过应用罐装软件包来谋生的统计学家很可能在每一步都被计算机所取代,除非撰写论文的讨论部分,其中必须解释结果。因此,从这个意义上讲,是的-它可以是自动化的(尽管它必须是一个复杂的软件,拥有自然语言处理器的魔力)。
但是,正如大多数研究人员最终指出的那样,人们经常使用的“固定”程序非常有限,必须进行修改(或者必须完全开发新方法)才能回答专门的研究问题-这是统计学中人为因素不可或缺的部分。或者,研究人员必须简单地解决一些可以使用经典方法回答的不同但相关的研究问题。
我认识的大多数统计学家都从事研究工作(例如教授,研究科学家),他们的主要作用是开发新方法。如果该过程可以自动化,这意味着计算机可以制定和提出有用的新方法,那么恐怕各个领域的研究人员都将过时。
当强大的人工智能使整个人类过时时,计算机只会使统计人员过时。
这个问题使我想起了一个问题:“如果所有这些鲁棒的统计方法都存在,为什么人们仍然使用其他方法?” 答案是习惯和训练,但很多答案是天真的问题:正如问题所暗示的那样,“健壮”并不意味着“您不必思考和理解自己在做什么”。
我的意思是,您可以今天下载R统计信息包,并在傍晚之前使用任何基本的统计技术。然后,您可以下载几个软件包,并开始使用如此深奥的方法,以至于我们大多数人甚至都没有听说过它们。问题是:您会得到合理的答案吗?答案是:可能不会。
这些算法是自动化的,但是您仍然需要在整个调查过程中做出许多判断:从攻击计划到最终判断结果是否真正有意义。为了达到这一点,您实际上是在谈论类似星际迷航的计算机,在这里您可以说“计算机,告诉我...”,到那时,几乎所有人类职业都已过时。
统计员能做些计算机不能做的事情?编写被替换的原始程序。
除了这个愚蠢的答案之外,这个问题的根源在于忽略了统计的实际科学,而是倾向于其机制,而完全忽略了创新过程在统计分析中的作用。以彼得·弗洛姆(Peter Flom)的汽车示例为例,就像说汽车是用铆钉和焊缝制造的,因此,没有理由不能通过铆接和焊接机器人来设计新的野马。
大量的统计工作涉及主题专业知识,判断力和创造力。通过算法运行的“罐头”分析通常不会为您提供最佳答案,并且有大量记录在案的示例,其中使用自动化方法实际上会为您提供错误的答案-或至少不会提供您认为得到的答案。我最熟悉的是基于逐步p值的变量选择过程的使用和基于纯数字定义的分位数的分析,但是我相信您可以在其中找到很多其他的东西。
即使所有这些仍然以某种方式实现了自动化,也存在着解释结果的问题。当您获得回归系数或p值时,统计学家(或倾向于统计学的科学家)的工作不会完成。这个发现意味着什么。有哪些警告?在之前发生的事情中这代表什么?
最后,您将开发新方法。统计信息并不是我们认识的人很久以前就简单地提出的东西,例如Fisher,Cox等。这是一个不断发展的领域,在人们自己开发该方法之前,您无法将新方法编程到计算机中。
解释这个问题的另一种方式可能是:“近年来自动化统计技术的快速增长是否对应于对专门的统计学家和数据分析师的工作需求的减少?”
我们可以通过查看数据来解决这个问题
数据由True.com和Revolutions博客提供
将统计信息包加载到计算机上并不会使您成为统计学家,就像买车可以开车一样。
即使统计学家只是应用“固定”例程,仍然存在很多问题。
等等。
但是作业在计算机开启之前开始,在统计软件包关闭之后很长时间结束。
之前:客户想做什么? 通常这是很多工作!客户有什么数据?OY合租!变量标记为V1至V828171,哪个是?文献状况如何?客户会期望什么?技术应该如何?
之后:结果是什么意思?(而不仅仅是“这意味着回归显着”)应该如何向客户解释结果?结果还有什么其他问题?
我认为,计算机需要很长时间才能做到这一点。
关于不同职业或任务自动化的可能性的学术研究认为,统计学家不会很快被计算机取代。例如,参见有争议的Frey&Osborne(2013)的研究,该研究根据职业的计算机化可能性对职业进行排名,统计学家在702位中被评为低213位,概率为22%(参见附录中的表格)。如果您进一步感兴趣,请参阅此处的Slate文章。
Arntz等。(2016年)(此处是《经济学人》的文章)着眼于欧盟的任务而不是职业,并得出了类似的结论:做“复杂的数学或统计学”在统计学上与工作的自动完成度显着负相关(请参见表3)。
但是建议一定要谨慎,学者和/或经济学家在预测未来时并不总是很出色(例如,诺贝尔奖获得者罗伯特·卢卡斯(Robert Lucas)于2003年得出结论,即金融危机之前的几年,“预防抑郁症的中心问题是为了所有实际目的已被解决,并且实际上已经解决了数十年。”)两项研究似乎都是工作论文,受到了广泛讨论,但尚未在标准的同行评审期刊上发表。
关于学术辩论,您可以在此处找到有关自动化研究现状的概述文章。