深层神经网络的层可以看作是Hopfield网络吗?


11

Hopfield网络能够存储矢量并从嘈杂的版本开始检索它。他们这样做是为了设置权重,以便在将所有神经元设置为等于矢量值时最小化能量函数,并使用其嘈杂版本作为输入来检索矢量,并使网络沉降到最小能量。

抛开诸如无法保证网络将稳定在最接近的最小值之类的问题之类的问题(最终由Boltzmann机器解决,最终通过反向传播解决的问题),突破之处在于它们是抽象表示的起点。同一文档的两个版本将调用相同的状态,它们在网络中将以相同的状态表示。

正如Hopfield自己在1982年的论文中所写,具有新兴的集体计算能力的神经网络和物理系统

然后,本建模可以与基于表示其特征的集合的输入如何记住或分类实体或格式塔有关。

另一方面,深度学习的突破是构建输入的多个层次表示的能力,最终使AI从业者的生活更加轻松,从而简化了特征工程。(参见例如,代表性学习:回顾与新观点,Bengio,Courville,Vincent)。

从概念的角度来看,我相信可以将深度学习视为Hopfield网络的概括:从一个单一的表示形式到表示的层次结构。

从计算/拓扑的角度来看也是这样吗?如果不考虑Hopfield网络的简单程度(两态神经元,无向能量函数),可以将网络的每一层视为Hopfield网络,而将整个过程视为先前记忆的格式塔的顺序提取,以及对网络结构的重组。这些格式塔?

Answers:


0

深度学习不是Hopfield网络的概括。深度学习是Rumelhart和McClelland发起的神经网络/连接主义领域的“概括”。

神经网络有两种:

  • 定向(Perceptron,MLP,ConvNet,RNN等)
  • 无向的(Hopfield网络,Boltzmann机器,基于能量的模型等)

这些都可以做得很深。如您所说,玻尔兹曼机是霍普菲尔德网络的概率版本,与霍普菲尔德网络相比,在深化这些模型方面还有更多工作要做:深度玻尔兹曼机,深度信念网络和深度能量模型。韩丁真的是你想要阅读了解这些车型的家伙,但你可以看看本文这三款车型进行比较。

不确定格式塔尔组织。我想我会留给您解释。


我的问题可能还不够清楚。我问的是在NN中出现分类功能(格式塔)的能力。
Mario Alemi
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.