专家有害吗?


15

我正在阅读“国际象棋在人工智能研究中的作用”pdf),有趣的是,它说:

经验表明,国际象棋专家的意见虽然普遍有用,但不能完全信任。

深入思考的评估功能就是一个很好的例子。有能力的国际象棋专家进行的几次更改均未带来明显的改进,有时甚至会对机器的性能造成负面影响。

在这里,人类专家及其专业知识向该计划介绍了自己的偏见。解决此问题的一种方法是限制程序中允许的专家输入的类型和数量。在另一台几乎没有“知识”的机器上。

  • 在现代研究和实践中这有多真实?
  • 这是一个大问题,还是仅仅是国际象棋游戏的一个特定问题?

3
在NLP中有一个著名的报价引用此效果。
类似于

3
Atilla的回答在很大程度上是正确的(我提供的资格是评论),但我想我会简要地指出,在国际象棋的特定案例中,已证明Deep Thought与国际象棋专家的下棋方式截然不同。深度思考明确地预先计算了许多动作。专家只计算一些动作,但他们也使用计算捷径来记住以前的游戏和结果。这种记忆是通过隐式模式识别而体现出来​​的,这种模式识别将对游戏的情感体验叠加了起来(某些动作“恰到好处”)。
迈克劳伦斯

Answers:


11

我认为这更多是关于解决工程问题。大多数成功的工程项目都不会重复专家的推理或专家的本性。他们以不同的方式解决了这个问题。

例如,洗衣机使用的技术与人类不同,飞机使用的技术与鸟类不同。

如果您要复制专家推理,那么他们的输入就是一切。但是,如果您使用不同的技术(快速搜索,巨大的内存...)来解决相同的问题,则它们的输入仅会有所帮助


尽管我确实同意您的观点,但这种推理似乎太明显了,很抱歉:)在论文中,他们说专家“引入了自己的偏见”,这似乎不仅仅是对实现的误解。
andreister

当然,由于他们以自己的方式看待世界,这与计算机的观点截然不同,因此他们会给出好与坏的输入。
Atilla Ozgur 2012年

7
我要补充一点,需要考虑的是,专业知识通常是如此自动化,以至于对意识检查不透明。因此,专家通常可能无法对他们正在采取的能够达到专家绩效的信息处理步骤进行口头告知。
迈克·劳伦斯

3

这些问题在需要判断的各个领域都很普遍。

Makridakis,Wheelwright和Hyndman 预测中的判断预测和调整 ” 一章:方法和应用中有类似的故事,专家判断的表现有时甚至很简单。

有一个纸(道斯等人(1989)“临床VS精算判断” 科学,卷243,没有4899,p1668-74)有关专家判断在医疗领域的失败打击了所谓“精算”方法-基本上是相当简单的统计模型。

另一方面,在精算文学中,有一篇论文涉及该领域中特定问题的专家判断的“嘈杂”和不一致,在这一领域中,专家判断通常被其从业者视为至关重要。

Makridakis等人讨论了许多领域的专家判断失误,因为它们与预测有关,并且包含了很多有价值的建议。

依此类推。认知偏见比比皆是,人类专家与其他所有人一样遭受痛苦。


3

专家是否有害的问题当然不仅仅限于象棋游戏。

关于货币政策委员会(MPC)的最佳设计的文献中一个有趣的问题是,委员会是否应包括不是中央银行全职雇员的外部专家。

为了对此进行透视,首先考虑英格兰银行的MPC。它由五位银行内部执行成员和四位外部专家组成。另一方面,联邦储备银行雇用仅由银行雇员组成的委员会。

外部专家成员被包括在英格兰银行的MPC中,因为他们被认为可以为英格兰银行内部带来的专业知识和额外信息。

那么,哪种MPC设计更好?专家还是专家?

嗯,这个研究领域仍然很活跃,最近由Hansen&McMahon(2010)进行了研究。。我建议参考本文中提到的参考资料,以进一步阅读有关“专家委员会”的问题。

这是一个大(重要)问题吗?考虑到MPC的决定可能对经济产生的影响,我想说这是一个非常重要的问题!

最后,我应该提到,从理论上讲,货币政策决策可以委托给计算机。例如,可以对计算机进行编程,以执行简单的货币政策规则;例如承诺之一。在将货币政策规则编程到计算机中之后,这将删除专家输入。Svensson(1999)提到在货币政策中使用计算机

参考:Stephen Eliot Hansen和Michael McMahon,2010年。“外部专家带给委员会的是什么?来自英格兰银行的证据,”庞培法布拉大学经济与商业系经济学工作论文1238。

Lars EO Svensson,1999年。“在价格稳定的时代如何实施货币政策?”,堪萨斯城联邦储备银行会议录,第195-259页。


3

我认为关键是一致性。专家不仅拥有特定的知识,而且拥有在其中运行知识的系统。他们有一个角色,一个整体策略,策略在其中生存和发展。

从某种意义上说,下棋的计算机程序是科学怪人的怪兽,它是由各种身体(程序员,专家等)混搭而成的。因此,任何专家的建议都不适合现有系统也就不足为奇了。

我同意其他意见,即专家可能不知道他们如何做。在这种情况下,作为人,他们有意识的头脑构成了一个关于他们为何做出特定决定的合理故事。但是我仍然认为,向编程团队提供的专家建议总是与上下文无关(即与程序设计和历史的上下文不一致)。

编辑:这里也可能有强化偏见。我找不到很好的链接来解释强化偏见,但是据我所知,这是您使用模型的先前结果(通常是间接地)作为目标更新(改装)监督模型时所获得的效果。它与确认偏差相似,但是涉及一定程度的间接性。人类专家将遇到他们的“强化偏见”,这可能会影响事物。


我不确定我是否理解您的最后一句话,这似乎很有趣。你能详细说明吗?
米歇尔

@Michelle:我们希望在主题专家的建议下进行改进的程序已经具有自己的上下文(原始设计,程序员,先前的专家等)。我们尝试合并的建议来自不同的上下文,并且可能效果不佳-甚至可能与程序已具有的上下文不一致。我的最后一个陈述是试图说新输入实际上不太可能在已经建立的(程序的)上下文中起作用。
韦恩
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.