在人工智能的背景下，奇点是指能够递归自我改进的人工智能通用技术的出现，导致人工超智能（ASI）的迅速出现，其极限是未知的，在实现技术奇点后不久。因此，这些超级智能将能够解决我们可能无法解决的问题。

根据《人工智能的未来进展：专家意见调查》中的一项民意测验（2014）

受访者的中位数估计是2040-2050年左右将开发高级机器智能的几分之一

距离不是很远。

鉴于人工智能可以解决许多问题而使我们受益，那么人工智能将具有无所不知的能力又有什么问题呢？

我非常喜欢您的观点，在不深入探讨如何实现“奇异性”的细节（涵盖许多其他问题）或意识和“全知”如何发挥作用（因为意识和全知不是必需条件）的情况下，我将代替将您引导到两位主要的哲学家：

• 菲利普·迪克（Phillip K. Dick），在1968年著名的人工智能书中，中心主题是同理心。 （如果您还没有阅读它，我不会发布剧透的内容，而只会说情节是由仅仅5年后才正式化的“ 进化博弈论 ”概念驱动的。）

• 约翰·纳什（John Nash），尤其是纳什均衡的概念。（可以说纳什从数学上证明了“骗子袋”不是最佳策略。他的证明可以用来解释为什么核缓和实际上起作用了，这与冯·诺伊曼的期望背道而驰。）

因此，当人们发疯时，专注于机器崛起摧毁我们的“ 天网 ”神话，我想知道它们是否不如纳什那么聪明或不像迪克那样深刻，这可能解释了他们对重点的缺乏可以称为“ 电羊 ”范式。

这个问题是一个好问题，在很多人的心中。在考虑的思路中存在一些误解。

• 除了人类以外，智者的至高无上的行为威胁着文明–对这种威胁的想象是否合乎逻辑？当人类智力是当今生物圈中最具威胁性的生物现象时，这是一个合理的结论。昆虫的智慧可能更具可持续性。蚂蚁和白蚁的文明当然更加协作。世界大战和种族灭绝是人类历史的主要特征之一。
• 人工智能变得比人类更智能-人工智能在某些方面已经比人类更智能，这就是为什么我们使用计算器，自动切换通信信号而不是操作员以及使用自动邮件分拣器。在其他方面，人工智能必须跨越天文距离才能开始近似人类智能。我们什至没有任何迹象表明将来能够模拟或复制人类推理，创造力或同情心的能力。
• 奇异性是在2040年代预测的-这些预测中有十几种不切实际的假设。用批判的眼光审视它们背后的任何论点，您会发现可能使757蒙上双眼飞了出去。
• 知识的指数级增长-信息呈指数级增长，但是随着错误信息，自然猜想和虚假新闻的增加，合法同行评审的信息所占比例下降。我的信念是，世界上的信息量可以通过log（n）近似，其中n是人口。如果我按这种关系行事，平均个人的信息价值为log（n）/ n，随人口增长而降低。
• 人工智能将具有无所不知的能力-Omniscience不仅能回答任何问题。Omniscience要求答案是100％可靠和100％准确的，这可能需要比宇宙中存在的硅更多的硅。如果您想了解原因，请阅读格里克的混沌。也许还会有人争辩说，一个无所不知的人不会在命令时回答问题。

如果您想要一个比人类智慧控制的世界更好的世界，那么一个方向就是寻求开发一种具有更先进的和平文明理念的新物种，这种理念可以像驯服狗和狗一样驯服和驯化我们。猫。

更简单的途径只是让我们所有人丧命。在我们到达并开始杀死一切彼此之间之前，生物圈可能已经更加文明。但这不是我的希望。

我的建议是，我们研究NI（非智能）并发现如何摆脱人类行为和地缘政治互动中的愚蠢行为。这将比分散注意力和实质上无关的机器学习小工具和应用程序改善世界。

我的猿猴想到了一些问题。

1.聪明！=全知

AI自我完善的爆炸式发展使其变得越来越聪明。变得更聪明并不意味着知道更多事实。我认为这是一个挑剔的论点，但我认为值得考虑。

一个不知道您的病史的非常聪明的医生可能会比一个不那么聪明，拥有更好数据的医生做出更糟糕的选择。

2.一切都是为了人类吗？是否适合所有人？

达到更高水平的ASI可能对我们的健康不感兴趣。

如果这几个人确定了错误的目标，我们可以倒退，但是受控的ASI仍然只能为少数人的利益服务。

3苛刻的ASI

不一定充满同情或同情心的科学头脑。

4.聪明而不聪明

有头脑的人仍然会犯错误：*在设定目标时，*在执行计划以实现目标时。

灵智不会保证缺乏视力或盲点。

5.限制

如果存在限制（光速限制），则AI也将受到限制。这可能意味着即使ASI也无法做到。另外，由于我们的思维可能会基于其结构而受到限制，因此下一个AI也可能具有限制-即使它提高了uppn，也可能会遇到一些限制，因为它太“愚蠢”，因此无法找到解决方案。

6.我们不会得到

ASI对世界某些方面的理解可能并不适合大多数人。我们只是不会得到它（即使我们能够理解一切，也不意味着我们会理解它）。

7.如何使用？

我们可能会毁灭自己，而AI会借助它帮助我们构建的技术。不必是炸弹。它可以是地球工程学，也可以是毒品。

当ASI已经强大但还不足以预见负面后果时（或者我们还是会忽略它），这一点尤其强烈。