如何将递归神经网络用于序列分类?


19

RNN可用于预测或序列到序列映射。但是如何将RNN用于分类呢?我的意思是,我们给整个序列一个标签。


我会尝试使用上一个词来预测下一个词。然后,我将该网络置于一个径向基函数(3 * classlabelcount左右或高斯pdf神经元)的前面,该函数的输入是系列的预测误差,而输出是类标签。我在输入层中会有相当数量的神经元-足以说明要分类需要多少个序列元素。这只是我个人的方法。
EngrStudent-恢复莫妮卡2014年

Answers:


13

可以使用RNN将多个输入映射到单个输入(标签),如下图()所示:

在此处输入图片说明

每个矩形都是一个向量,箭头表示函数(例如矩阵乘法)。输入向量为红色,输出向量为蓝色和绿色,向量保持RNN的状态(稍后将对此进行详细介绍)。从左到右:(1)无RNN的香草处理模式,从固定大小的输入到固定大小的输出(例如图像分类)。(2)序列输出(例如,图像字幕拍摄图像并输出单词句子)。(3)序列输入(例如,情感分析,其中给定句子被分类为表达正面或负面情感)。(4)序列输入和序列输出(例如,机器翻译:RNN读取英语的句子,然后输出法语的句子)。(5)同步的序列输入和输出(例如,我们希望标记视频每一帧的视频分类)。


4

如果是简单的RNN,则将整个序列馈入网络,然后在最后一个序列元素处输出类标签(有关此方法的早期示例,请参见本文和参考资料)。在训练阶段,我们可以反向传播从最后一个序列元素到序列开始的时间误差。通常,这与RNN序列标签问题没有什么不同,在RNN序列标签问题中,我们仅需要为序列的某些元素分配标签(或将所有其他元素标记为OTHER)。


必须注意较长的顺序。序列开始处的信息可能会被序列中的信息淹没。
Vladislavs Dovgalecs 2015年
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.