我们可以从人工神经网络中学到什么关于人脑？

我知道我的问题/标题不是很具体，所以我将尝试澄清一下：

人工神经网络的设计相对严格。当然，通常，它们会受到生物学的影响，并尝试建立真实神经网络的数学模型，但是我们对真实神经网络的理解不足以建立精确的模型。因此，我们无法构思出精确的模型或“接近”真实神经网络的任何事物。

据我所知，所有人工神经网络都与真实神经网络相距甚远。标准，经典的全连接MLP在生物学中不存在。递归神经网络缺乏实际的神经可塑性，RNN的每个神经元都具有相同的“反馈结构”，而真实的神经元则保存并共享它们的信息而不是单独地。卷积神经网络是有效且流行的，但是（例如）人脑中的图像处理仅由几个卷积层组成，而现代解决方案（如GoogLeNet）已经使用了数十个卷积层……尽管它们为计算机产生了很好的结果，它们甚至不接近人类的表现。尤其是当我们想到“每层性能”时，与真实的神经网络相比，我们需要大量的层并减少数据。

此外，据我所知，与真实神经网络的巨大适应性相比，即使是模块化的，自扩展/自重构的人工神经网络也相当“固定和静态”。生物神经元通常具有成千上万的树突，将神经元连接到各种各样的不同区域和其他神经元。人工神经网络更加“直接”。

那么，我们能从人工神经网络学到关于人脑/真实神经网络的任何信息吗？还是只是尝试创建一种性能要比经典的静态算法更好的软件（甚至在此类算法失败的地方做些事情）？

有人可以提供（最好是科学的）有关此主题的资源吗？

编辑：高度赞赏更多答案（：

如您所提到的，大多数神经网络都基于大脑的简单抽象。它们不仅缺乏模仿可塑性的特性，而且没有像真实神经元那样考虑信号和时间安排。

最近有一次采访，我觉得这很适合您的特定问题，即机器学习大师Michael Jordan关于大数据的妄想和其他巨大工程方面的努力，我引用：

但是，对于神经科学而言，要理解其深层原理，确实需要数十年甚至数百年的时间。在神经科学的最低水平上有进步。但是对于认知度更高的问题（我们如何感知，如何记忆，如何行动），我们不知道神经元如何存储信息，它们如何计算，规则是什么，算法是什么，表示形式是什么，以及类似。因此，我们还处在一个可以利用对大脑的理解来指导我们构建智能系统的时代。

到目前为止，从人工神经网络了解到的关于大脑功能的知识还不多，可以说是一无所有。[澄清：我在写这个答案时考虑了机器学习中使用的神经网络；@MattKrause（+1）是对的，某些生物神经现象的神经网络模型在许多情况下可能是有帮助的。]但是，这可能部分是由于以下事实：直到2006年左右停滞不前，当时杰弗里·欣顿（Geoffrey Hinton）几乎单枪匹马地重新点燃了整个领域，到现在为止已经吸引了数十亿美元。

在2012年Google的一次名为“ 大脑，性和机器学习”的演讲中（从45:30开始），欣顿建议，人工神经网络可以提示为什么大多数神经元通过尖峰而不是模拟信号进行通信。也就是说，他建议将峰值视为类似于辍学的正则化策略。当在任何给定的梯度下降步骤中仅更新一部分权重时，辍学是一种防止过度拟合的新方法（请参阅Srivastava et al。2014）。显然，它可以很好地发挥作用，Hinton认为，峰值（即大多数神经元在任何给定时刻保持沉默）可能起到类似的作用。

我在神经科学研究所工作，在这里我不认识欣欣顿的说法令人信服的人。陪审团还在外面（并且很可能将要缺阵很长一段时间），但至少这是一个东西，人工神经网络可以一个例子可能让我们对大脑功能。

人脑仅使用“几个”卷积层当然是不正确的。大约有1/3的灵长类动物大脑以某种方式参与了视觉信息的处理。该图来自Felleman和Van Essen，是视觉信息如何从猴脑流到眼睛（底部的RGC）并一直到记忆区域海马的粗略轮廓。

这些框中的每个框都是一个解剖定义的区域（或多或少），其中包含几个处理阶段（在大多数情况下为实际图层）。该图本身已有25年的历史，并且，如果有的话，我们已经知道还有更多的方框和更多的线。

这是真实的，很多深学习工作，更多的是大脑比基于一些潜在的神经真相“隐约的灵感”。与“迭代逻辑回归”相比，“深度学习”还具有听起来更性感的优点。

但是，神经网络的数学模型也为我们对大脑的理解做出了很大贡献。在一个极端情况下，某些模型试图精确地模仿已知的生物学和生物物理学。这些通常包括各个离子及其流动的术语。一些人甚至使用真实神经元的3D重建来约束其形状。如果您对此感兴趣，则ModelDB拥有大量的模型和相关的出版物。许多是使用免费提供的NEURON软件实现的。

有较大规模的模型试图模仿某些行为或神经生理学效应，而不必过多担心基础生物物理学。连接主义或并行分布式处理模型在1980年代末和1990年代特别流行，并且使用的模型与您在当前机器学习应用程序中可能会发现的模型类似（例如，没有生物物理学，简单的激活函数和定型的连通性）来解释各种心理过程。尽管我们拥有更强大的计算机和更好的培训策略，但他们仍想知道它们是否会卷土重来。（请参见下面的编辑！）

最后，中间有很多工作，包括一些“现象学”，以及一些生物学上的细节（例如，具有某些特性的显式抑制术语，但不符合氯离子通道的确切分布）。许多当前的工作都属于此类，例如，王小京（以及其他许多人....）的工作。

编辑：自从我写这篇文章以来，将（真实）视觉系统与经过对象识别任务训练的深度神经网络进行了比较。有一些令人惊讶的相似之处。神经网络的第一层中的内核与初级视觉皮层中的内核/接受域非常相似，随后的层类似于较高视觉区域中的接受域（例如，请参见Nikolaus Kriegeskorte的工作）。训练神经网络可能会导致广泛的行为训练发生类似变化（Wenliang和Seitz，2018）。DNN和人类有时也会（但并非总是如此）做出类似的错误模式。

目前，还不清楚这是否反映了真实神经网络和人工神经网络之间的相似性，特别是有关图像的信息[*]，还是所有条纹的神经网络都找到了模式的趋势，即使它们不在那里也是如此。尽管如此，将两者进行比较已成为研究的热点，而且我们似乎可能会从中学到一些东西。

*例如，在CNN的早期视觉系统/第一层中使用的表示法是自然图像的最佳稀疏基础。

我们真正了解到的是使用稀疏激活和使用线性整流激活函数。后者基本上是一个原因，为什么我们会看到关于所谓的神经网络的活动激增，因为使用这种激活函数会导致对用于我们称为神经网络的那些人工计算网络的训练产生极大的脱脂。

我们了解到的是为什么以这种方式构建突触和神经元，以及为什么它更可取。这些线性整流激活（f（x）：= x> a？x：0）导致稀疏激活（只有很少的“神经元”（权重））被激活。

因此，当我们的知识扩展到生物学功能时，我们会做些什么，我们会理解为什么它被进化所选择和偏爱。我们了解到，这些系统足够了，而且在训练过程中的错误控制方面也很稳定，并且还可以在大脑中保存诸如能量和化学/生物资源之类的资源。

我们只是了解为什么大脑就是它的本质。同样，通过培训和研究策略，我们了解了可能的信息流以及所涉及的信息处理，从而帮助我们构建和评估有关主题的假设。

例如，我记得十年前曾培训过一种学习自然口语的系统，发现该系统显示出类似的问题，重新组合了学习语言的婴儿的类比行为。即使学习不同种类的语言之间的差异也足够相似。

因此，通过研究这种方法和设计，可以得出结论，语言学习过程中的人类信息处理足够相似，可以针对语言相关问题提出培训建议和治疗方法，从而有助于帮助和理解人类的困难并开发出更有效的治疗方法（在实际中是否真正做到这一点是另一个问题。

一个月前，我读了一篇有关3D导航和记住大鼠大脑的工作原理的文章，并且通过为每个发现创建计算模型，这对理解实际情况大有帮助。因此，人工模型填补了在生物系统中观察到的空白。

当我得知神经系统科学家使用的语言比工程师谈论电路，信息流和逻辑处理单元的生物人更多地融合了工程师的语言时，真让我感到惊讶。

因此，我们从人工神经网络中学到了很多东西，因为它为我们提供了经验性的玩耍基础，我们可以从规则和保证中得出为什么大脑的结构就是它的本质，以及为什么进化比其他方式更喜欢这种结构。

但仍然有很多空白，但据我所读-我最近才刚接触CNN等，但是在2000年代初的大学时期就拥有了人工AI，模糊逻辑和神经网络。

因此，我赶上了十年的开发和发现，并为神经网络和AI领域的所有科学家和实践者表示感谢。做得好的人，真的做得很好！