人工神经网络ANN如何用于无监督聚类?


52

我了解如何artificial neural network (ANN)使用反向传播以监督方式训练,以通过减少预测误差来改善拟合。我听说ANN可以用于无监督学习,但是如何在没有某种成本函数来指导优化阶段的情况下做到这一点呢?使用k-means或EM算法时,有一个函数,每次迭代搜索都在增加该函数。

  • 我们如何使用ANN进行聚类,以及它使用什么机制对同一地点的数据点进行分组?

(以及增加更多层带来了哪些额外的功能?)


您对一般的NN无监督学习感兴趣,还是对神经网络的无监督聚类感兴趣?
Denis Tarasov

@DenisTarasov,我主要对NN的无监督聚类感兴趣,但对NN的无监督NN学习总体了解不多。如果在讨论特定应用程序之前,答案通常包括一些NN无监督学习,那就太好了。
瓦斯2015年

1
自组织映射(SOM)是用于群集的一种网络。
Cagdas Ozgenc'3

ANN中的无监督学习–它从训练集中提取统计属性。–无监督学习比较困难,但从生物学角度看似合理–不需要老师。
yonas '17

Answers:


56

神经网络广泛用于无监督学习中,以更好地表示输入数据。例如,给定一组文本文档,NN可以学习从文档到实值向量的映射,使得对于具有相似内容(即保持距离)的文档,所得向量相似。例如,可以使用自动编码器来实现此目的,自动编码器是一种经过训练的模型,可以从较小的表示形式(隐藏层激活)中重构原始矢量,并具有重构误差(与ID函数的距离)作为代价函数。此过程不会为您提供集群,但是会创建可用于集群的有意义的表示形式。例如,您可以在隐藏层的激活上运行聚类算法。

集群:有许多专门为集群设计的不同的NN体系结构。最广为人知的可能是自组织地图。SOM是一种神经网络,具有一组神经元,这些神经元连接在一起以形成拓扑网格(通常为矩形)。当将某种模式呈现给SOM时,权重向量最接近的神经元将被视为赢家,并且其权重以及模式的权重也将适应该模式。这样,SOM自然可以找到数据集群。某种相关的算法是增加神经气体(不限于预定数量的神经元)。

另一种方法是自适应共振理论,其中我们分为两层:“比较场”和“识别场”。识别场还确定与比较场传输的向量的最佳匹配(神经元),并具有横向抑制连接。可以通过搜索这些模型的名称来轻松找到实现细节和精确的方程式,因此在此不再赘述。


15

您想研究自组织的地图。Kohonen(发明它们的人)写了一关于它们的。在R(somkohonen)中有针对此的软件包,在其他语言中也有诸如MATLAB的实现


您能否详细介绍一下NN如何做到这一点并详细阐述其理论?也许还可以解释使用深度神经网络(DNN)的效果?
瓦斯2015年

1
恐怕我在这里的专业知识很少,@ Vass。我认为添加额外的层不会减慢速度。其他人将不得不给您理论知识,我只是想让您入门。
gung-恢复莫妮卡

1
我们实验室的一位学生使用SOM进行了聚类实验。与其他方法(在我们的情况下为标准图聚类算法)相比,它花了很多时间才能运行,并且结果令人失望。我一直对标准2D目标域(拓扑网格)似乎是一个高度任意的空间感到困惑。更令人担忧的是,它非常简单,本质上需要将数据压缩到仅由两个变量描述的空间中。
尼加斯人2015年

@micans有一些优点,但是数据并不是简单地压缩到仅由两个变量描述的空间中,因为每个节点也都与原型相关联。同样,如果运行缓慢,则很可能是实现问题。从统计上讲,SOM以外的其他方法应能获得更好的分类结果。至于拓扑问题,大脑似乎被组织成2D拓扑的层,但是它可以取得很好的效果(或者我想想)。
汤姆·安德森
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.