我了解如何artificial neural network (ANN)
使用反向传播以监督方式训练,以通过减少预测误差来改善拟合。我听说ANN可以用于无监督学习,但是如何在没有某种成本函数来指导优化阶段的情况下做到这一点呢?使用k-means或EM算法时,有一个函数,每次迭代搜索都在增加该函数。
- 我们如何使用ANN进行聚类,以及它使用什么机制对同一地点的数据点进行分组?
(以及增加更多层带来了哪些额外的功能?)
我了解如何artificial neural network (ANN)
使用反向传播以监督方式训练,以通过减少预测误差来改善拟合。我听说ANN可以用于无监督学习,但是如何在没有某种成本函数来指导优化阶段的情况下做到这一点呢?使用k-means或EM算法时,有一个函数,每次迭代搜索都在增加该函数。
(以及增加更多层带来了哪些额外的功能?)
Answers:
神经网络广泛用于无监督学习中,以更好地表示输入数据。例如,给定一组文本文档,NN可以学习从文档到实值向量的映射,使得对于具有相似内容(即保持距离)的文档,所得向量相似。例如,可以使用自动编码器来实现此目的,自动编码器是一种经过训练的模型,可以从较小的表示形式(隐藏层激活)中重构原始矢量,并具有重构误差(与ID函数的距离)作为代价函数。此过程不会为您提供集群,但是会创建可用于集群的有意义的表示形式。例如,您可以在隐藏层的激活上运行聚类算法。
集群:有许多专门为集群设计的不同的NN体系结构。最广为人知的可能是自组织地图。SOM是一种神经网络,具有一组神经元,这些神经元连接在一起以形成拓扑网格(通常为矩形)。当将某种模式呈现给SOM时,权重向量最接近的神经元将被视为赢家,并且其权重以及模式的权重也将适应该模式。这样,SOM自然可以找到数据集群。某种相关的算法是增加神经气体(不限于预定数量的神经元)。
另一种方法是自适应共振理论,其中我们分为两层:“比较场”和“识别场”。识别场还确定与比较场传输的向量的最佳匹配(神经元),并具有横向抑制连接。可以通过搜索这些模型的名称来轻松找到实现细节和精确的方程式,因此在此不再赘述。