为什么斯蒂芬·霍金说“人工智能将杀死我们所有人”？[关闭]

史蒂芬·霍金（Stephen Hawking）的这段话已经登上头条新闻了很长时间了：

当人工智能变得太聪明时，人工智能可能会消灭人类，就像人类会像蚂蚁一样。

他为什么这样说？简单来说，AI可能带来哪些威胁？如果我们知道AI如此危险，为什么还要继续推广它呢？为什么不禁止它？

所谓的技术奇点性有哪些不利后果？

不只是霍金，您还会听到很多人对此种说法的异议。鉴于他们大多是非常聪明，受过良好教育，信息灵通的人（例如，伊隆·马斯克（Elon Musk）是另一个人），所以不应该一概而论。

无论如何，基本思想似乎是这样的：如果我们创建“真实的”人工智能，那么在某个时候它将能够自我完善，从而提高其自我完善的能力，这意味着它甚至能够改善自身的自我完善的能力。等等，等等……导致“超人情报”的失控级联。就是说，导致了比我们领域更聪明的事情。

那么，如果地球上存在一个比我们（人类）更聪明的实体，会发生什么？对我们构成威胁吗？嗯，当然有理由推测，它可能是这样的。太太，我们现在没有特别的理由认为会如此。

因此看来霍金，马斯克等人只是在更加谨慎/恐惧的方面下降了。由于我们不知道超人AI是否会危险，并且鉴于它可能会变得不可阻挡（请记住，它比我们聪明！），因此这是一个合理的考虑因素。

Eliezer Yudkowsky在这个问题上也写了很多，包括提出了著名的“ AI Box”实验。我认为任何对此主题感兴趣的人都应该阅读他的一些材料。

http://www.yudkowsky.net/singularity/aibox/

因为他还不知道当前的AI有多远...在媒体AI实验室中工作，所以我对此有很多疑问。但是，实际上...我们离此还有很长的路要走。机器人仍然可以完成我们详细描述的所有工作。与其认为机器人是智能的，不如说是人类程序员真正发挥创造力的地方。

简单来说，人工智能可能带来什么威胁？

目前，还没有威胁。

如果人类创造出一种所谓的超智能机器，这种威胁就会来临，这种机器可以超越任何人类的所有智力活动。这将是人类需要做的最后一项发明，因为这种机器在发明机器方面比人类更好（因为这是一种智力活动）。但是，这可能会导致机器发明出可以破坏人类的机器，我们不能阻止它们，因为它们比我们聪明得多。

所有这些都是假设的，甚至没有人知道超智能机器的外观。

如果我们知道AI如此危险，为什么还要继续推广它呢？为什么不禁止它？

如我之前所说，超智能机器的存在是假设的。人工智能有很多有用的应用程序（超出了答案的范围），如果我们开发它，我们将获得更多有用的应用程序。我们只需要小心，机器就不会超越我们。

正如吴安德（Andrew Ng）所说，担心来自AI的威胁就像担心火星上的人口过多。这是科幻小说。

话虽这么说，但由于（弱得多的）机器人和其他（半）自治代理人的兴起，法律和道德领域也越来越多地纳入其中，例如，参见Roboethics。

有很多很长的资源可以回答此类问题：考虑Stuart Armstrong的书《比我们聪明》，Nick Bostrom的书《Superintelligence》，这些书源于edge.org的回答，Tim Urban的解释或Michael Cohen的解释。

但是，这是我的答案（简短一些）：情报全都与决策有关，我们没有任何理由相信人类几乎是最有可能做出决策的地方。一旦我们能够建立AI AI研究人员（即知道如何使计算机更好地思考的计算机），人类的经济和军事意义就会迅速消失，因为人类可以做出任何决定用电脑更好。（为什么要以人类将军代替机器人将军，以人类工程师代替机器人工程师，依此类推。）

这不一定是灾难。如果瓦肯人明天出现并为地球带来更好的决策，我们可以避免很多痛苦。困难的部分是确保我们得到的是让我们四处奔走，快乐的瓦肯人，而不是没有共同价值观的人。

他说这是因为它可能发生。如果某件事变得比我们聪明，为什么还要继续为我们服务？最坏的情况是，它接管了所有制造过程并消耗了所有物质，将其转换为能够进行计算的材料，无限地向外扩展，直到所有物质被消耗掉为止。

我们知道，人工智能很危险，但是没关系，因为大多数人不相信它。它违背了宗教所提供的每一种安慰。人是宇宙万物的终极目标，如果这一事实引起争议，人们将感到失落和毫无目的。

事实是，即使许多著名的AI专家将奇异性的发生在二十年之内，大多数人只是不承认这种可能性是可能的，或者它会在我们的一生中发生。如果人们真的承认比自己更聪明的AI是可能的，那么他们的生活会不会有所不同？他们知道自己害怕做的事会自动吗，难道他们就不会去做自己喜欢的事情吗？难道不是每个人都要求普及基本收入吗？

我们不禁止它的另一个原因是，它的承诺是如此之大。可以由1,000名数字研究助理来扩充一名研究人员。所有体力劳动都可以自动化。科技第一次为我们提供了真正的自由，可以做我们想做的任何事情。

但是，即使在最好的情况下，它也不能超越我们，人类仍然必须适应并改变其经济体系，使其成为不需要劳动力的国家。否则，那些没有经过技术培训的人将挨饿并起义。