为什么深度神经网络和深度学习不足以实现一般智力？

与深度学习（DL）和深度（er）网络相关的所有事物似乎都是“成功的”，至少进展非常迅速，并培养了人们对AGI可以达到的信念。这是流行的想象力。DL是解决许多问题（包括创建AGI）的强大工具。但是，这还不够。工具是必需的成分，但通常不足。

该领域的领先者正在寻求其他方面的进步。本报告/声明收集了Yoshua Bengio，Yann LeCun和Geoff Hinton的声明的链接。。该报告还解释了：

DL的主要缺点（如我所见）是：依赖最简单的模型神经元（LeCun称其为“卡通”）；使用19世纪统计力学和统计学的思想，这些思想是能量函数和对数似然方法的基础；以及反向支撑和随机梯度下降等技术的结合，导致应用范围非常有限（脱机，主要是分批，有监督的学习），需要高才能的从业人员（又名“随机研究生下降”），且价格昂贵标记的训练数据和计算能力。虽然DL对于可以吸引或购买人才并部署无限资源以收集数据并处理数据的大型公司非常有用，但DL对我们大多数人而言既无用又无用。

尽管有趣且相关，但这种解释并不能真正解决问题的要点：缺少什么？

这个问题似乎很广泛，但可能是由于缺乏简单的答案。有没有办法确定AGI缺少的DL？

在将系统与类似人类的智能进行比较时，每个与神经网络打交道的人都忽略了一个重要的观点。一个人需要花费数月的时间去做任何可理解的事情，更不用说能够解决成人几乎无法管理的问题了。与我们的神经网络相比，人脑的大小和大小是巨大的。方向可能是正确的，但比例尺远了。人脑中神经元的数量可以按照记忆方式进行匹配，但是无法实时模拟它的并行性（至少对于随机研究者而言）。虽然有些旧，但可能会让您了解我们多少缺乏处理能力。

深度学习在监督学习中最成功，而大脑大多以无监督的方式建立类别。我们尚不知道该怎么做。（看一下Google Brain：有16,000个核，而这些功能所能做的就是以非常糟糕的准确性识别猫和人脸。）

深度学习使用高度非结构化的激活，即神经网络分类器中“狗”和“猫”的高级表示完全不必相似。另一方面，大脑使用抑制性神经元来创建稀疏的分布式表示形式，这些表示形式可分解为它们的语义方面。这对于类比的抽象和推理可能很重要。

大脑具有许多相互配合的不同部分。深度学习研究人员才刚刚开始整合内存或注意力机制到其架构中。

大脑整合来自许多不同感觉的信息。大多数深度学习应用程序仅使用一种输入类型，例如文本或图片。

大脑能够将序列建模为类别。（基本上每个动词都命名一个顺序（即时间）类别。）然后，可以将这些类别安排到长期分层计划中。到目前为止，我还没有在深度学习中看到任何朝着这个方向发展的东西。

而且，神经网络还无法以与人脑相同的规模运行。如果您看一下这个问题的答案，那么人类的大脑将在未来几十年中在神经元计数方面处于领先地位。一个神经网络可能不需要与大脑相同数量的神经元来达到类似的性能（由于更高的准确性），但是例如现在，视频处理在输入和吞吐量方面仍然非常有限。

恕我直言，第一个障碍是规模：即使Google最大的DNN也不接近大脑的规模，而且要高出几个数量级...

我认为仍然缺少构成人脑的各个方面。有很多不同的网络互相配合

就像冥想通过使大脑更协同地工作来提高认知能力一样，我们也可以将其应用于机器。

例如，谷歌像我们一样，正在学习一台计算机做梦，以加强我们已经学到的东西。 https://medium.com/@tannistho/why-is-google-teaching-its-ai-to-dream-e9ae9ecd0e3a#.gljal6pww

这是路径网，即神经网络的网络。 https://medium.com/@thoszymkowiak/deepmind-just-published-a-mind-blowing-paper-pathnet-f72b1ed38d46#.ed0f6pdq7

创建所有这些机制并以足够的力量将它们放在一起，我们将非常接近！

如今，人工智能的支持者关注可计算性问题-可快速解决复杂问题的能力。我相信，在这个方向上取得的任何成功都不会导致人类（一般）智力的发展，尽管在某些领域肯定会胜过人类。相反，应该努力研究哪些神经系统事件引起感觉（Qualia的经验）。当然，这是哲学上的难题，但我相信这是通向智能及其能力的唯一关键。逆向工程和可检验的理论应朝着这一方向发展。