我已经多次听到“神经网络是我们必须为人类大脑建模的最佳近似值”,并且我认为众所周知,神经网络是模仿我们的大脑建模的。
我强烈怀疑此模型已简化,但是要多少钱呢?
例如,香草神经网络与我们对人脑的了解有多少不同?我们甚至知道吗?
我已经多次听到“神经网络是我们必须为人类大脑建模的最佳近似值”,并且我认为众所周知,神经网络是模仿我们的大脑建模的。
我强烈怀疑此模型已简化,但是要多少钱呢?
例如,香草神经网络与我们对人脑的了解有多少不同?我们甚至知道吗?
Answers:
人工神经网络(ANN)与生物神经网络(BNN)的不同之处取决于您要查找的内容。我们都知道,人工神经网络是受到生物学启发的。
结构差异:
通常,神经网络包含四个组件:
如果是人工神经网络,则初始状态和权重是随机分配的。对于生物神经网络,神经元之间的连接强度和连接结构并不是随机的。初始状态是遗传衍生的,是进化的副产品。
在BNN中,学习来自大脑无数神经元之间的相互联系。当大脑经历新的刺激时,这些相互连接会改变配置。该变化导致新的连接,加强现有的连接和拆卸旧的和未使用的姑娘。使用固定拓扑从头开始训练
ANN(记住BNN的拓扑变化),这取决于要解决的问题。当前的机制不会改变ANN的拓扑,权重是通过优化算法随机初始化和调整的。
另一个对比是网络中神经元的数量。典型的人工神经网络由数百甚至数千个神经元组成。人脑的生物神经网络由数十亿个组成。此数字因动物而异。
您可以在这里和这里找到更多。
他们离不近了,不再了!
[人工]神经网络隐含地受到我们之前在大脑神经元之间观察到的联系的启发。最初,可能有意开发ANN以近似生物大脑。但是,我们看到现代神经网络在各种任务中的应用并不旨在为我们提供动物大脑的功能模型。据我所知,没有研究声称他们通过研究CNN或RNN模型的联系和权重分布发现了生物大脑中的新东西。
人工神经网络受大脑神经结构启发的普遍说法只是部分正确。
的确,诺伯特·维纳(Norbert Wiener),克劳德·香农(Claude Shannon),约翰·冯·诺伊曼(John von Neuman)等人通过开发后来被称为电子大脑的东西,开始了走向实用AI的道路。这也是真的
但这就是相似程度。诸如MLP(多层感知器)或RNN(递归神经网络)之类的人工网络中的细胞与大脑网络中的细胞不同。
感知器是激活一系列事物的第一个软件刺,它不是神经元的阵列。自从詹姆斯·瓦特(James Watt)的离心式调速器由高斯(Gauss)数学建模以来,工程中就一直使用涉及梯度的基本反馈。逐步逼近是一个已经使用了几个世纪的原理,它被用来逐步更新衰减矩阵。矩阵乘以向量,再馈入一系列相同的激活函数以产生输出。而已。
通过意识到雅可比行列式可用于产生一个校正信号,当作为负反馈适当地分布到各层时,可调谐一系列信号的衰减矩阵,从而实现了在第二维上对多层拓扑的投影。感知器和整个网络将收敛于令人满意的行为。在感知器序列中,每个元素称为一个层。反馈机制现在称为反向传播。
用于校正网络的数学称为梯度下降,因为它就像是一个脱水的盲人,使用地形的梯度来寻找水,并且这样做的问题也很相似。在找到淡水并收敛于死亡而不是补水之前,他可能会发现一个局部最小值(低点)。
较新的拓扑是在数字图像恢复,邮件分拣和图形应用程序中使用的现有卷积工作的补充,以创建CNN拓扑系列,并巧妙地利用了第一年化学反应中的化学平衡来结合优化准则, GAN拓扑家族。
在大多数AI上下文中,Deep只是众多同义词的代名词。有时会推断出更高级别拓扑中的复杂性(矢量矩阵乘积,激活和卷积之上)。
那些知道这些深层网络与数十年前神经科学家在哺乳动物脑组织中发现的神经网络有何不同的人正在进行积极的研究。从基因组的角度研究大脑中的学习电路和神经化学的今天,发现了更多差异化因素。
[1]具有讽刺意味的是,拓扑结构既是体系结构的子集(在建筑设计,网络供应,WWW分析和语义网络领域),但同时拓扑结构不仅是体系结构,而且是这两个AI的根本中心控制系统中的数学和有效实现
[2]化学的作用对于学习与DNA信息传播相关的社会和生殖行为可能是必不可少的,它们以复杂的方式联系起来,在生态系统和大脑的层面进行学习。此外,长期学习和短期学习也将大脑的学习分为两种不同的能力。
[3]在某种程度上可以理解传入信号的时序对生物神经元激活的影响,但它的影响远不止神经元输出。它也可能影响实用性和化学性,细胞器可能在其中起作用。
摘要
机器学习库所做的就是模拟人脑,就像芭比娃娃和肯娃娃模拟一对真正的夫妻一样。
尽管如此,在深度学习领域却出现了非凡的事情,如果自动驾驶汽车在我们的一生中变得完全自动化,这也不会令我感到惊讶。我也不建议任何学生成为开发人员。计算机的编码可能会比人类好得多,并且可能更快,甚至可能很快。某些任务不是生物学已经发展完成的任务,并且仅经过几十年的研究,计算机就可以超越人类的能力,最终超过人类的性能几个数量级。