Hopfield网络能够存储矢量并从嘈杂的版本开始检索它。他们这样做是为了设置权重,以便在将所有神经元设置为等于矢量值时最小化能量函数,并使用其嘈杂版本作为输入来检索矢量,并使网络沉降到最小能量。
抛开诸如无法保证网络将稳定在最接近的最小值之类的问题之类的问题(最终由Boltzmann机器解决,最终通过反向传播解决的问题),突破之处在于它们是抽象表示的起点。同一文档的两个版本将调用相同的状态,它们在网络中将以相同的状态表示。
正如Hopfield自己在1982年的论文中所写,具有新兴的集体计算能力的神经网络和物理系统
然后,本建模可以与基于表示其特征的集合的输入如何记住或分类实体或格式塔有关。
另一方面,深度学习的突破是构建输入的多个层次表示的能力,最终使AI从业者的生活更加轻松,从而简化了特征工程。(参见例如,代表性学习:回顾与新观点,Bengio,Courville,Vincent)。
从概念的角度来看,我相信可以将深度学习视为Hopfield网络的概括:从一个单一的表示形式到表示的层次结构。
从计算/拓扑的角度来看也是这样吗?如果不考虑Hopfield网络的简单程度(两态神经元,无向能量函数),可以将网络的每一层视为Hopfield网络,而将整个过程视为先前记忆的格式塔的顺序提取,以及对网络结构的重组。这些格式塔?