神经网络中的活动矢量是什么?


9

我正在阅读Hinton的新论文“胶囊之间的动态路由”,但没有抽象地理解术语“活动向量”。

胶囊是一组神经元,其活动矢量代表特定类型的实体(例如对象或对象部分)的实例化参数。我们使用活动矢量的长度来表示实体存在的概率,并使用其方向来表示实例化参数。一级的活动胶囊通过转换矩阵对高层胶囊的实例化参数进行预测。当多个预测结果一致时,更高级别的胶囊就会生效。我们表明,经过判别训练的多层胶囊系统在MNIST上达到了最先进的性能,并且在识别高度重叠的数字方面比卷积网络要好得多。为了获得这些结果,我们使用了一种按协议迭代路由的机制:

https://arxiv.org/pdf/1710.09829.pdf

我认为向量就像是您通过网络运行的数据数组。

我开始学习安德鲁·伍(Andrew Ng)的深度学习课程,但它是全新的,术语令我头疼。

Answers:


8

在传统的神经网络中,网络顶点是神经元,单个神经元的输出是单个值(“ 标量 ”)。此数字称为激活。阿网络中的神经元的输出激活的向量。我们不应将其与胶囊网络中的活性载体混淆。

胶囊网络是不同的,因为网络顶点是胶囊而不是神经元。它们是高维的:胶囊的输出不是标量,而是代表与输入有关的一组参数的向量。因此,名称激活向量

动机

在神经网络中,神经元的标量输出之间没有固有的结构,这是以下各层必须学习的内容。在胶囊网络中,胶囊的输出在一个矢量中代表与该参数相关的所有参数,包括对更深层胶囊激活的预测。这增加了有用的局部结构。

例如,考虑面部识别。如果您的胶囊知道如何识别眼睛,则可以输出表示“ 例如,由于我已经以p = 0.97的概率识别到眼睛位置(x,y),我预计整个面部的参数将为(f1, ... fn) “。

“胶囊之间动态路由”论文中所述,您引用此信息的方式是,较早的层(部分:眼睛,嘴巴,鼻子)中的胶囊可预测更深层(面部)的激活。例如,只有在眼睛,鼻子和嘴巴识别器(各部分)与面部识别器(整体)关于面部位置([f1,... fn )参数)。

历史灵感

较旧的计算机视觉算法(如SIFT)以类似的方式工作,其中识别基于多维特征(关键点)的配置与参考配置之间的一致。


1

我认为它的意思是“胶囊中神经元激活的载体”。给定神经元的激活是其输入的加权总和,通过激活函数(S型,relu等)传递。

By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.