深度学习中的一维卷积层是什么?


13

我对2D或3D实施情况下深度学习中卷积层在图像处理中的作用和机制有很好的一般理解-他们“简单地”尝试捕获图像中的2D模式(在3D情况下为3个通道)。

但是最近我在自然语言处理的背景下遇到了1D卷积层,这对我来说是一个惊喜,因为在我的理解中2D卷积尤其用于捕获无法以1D(矢量)形式显示的2D模式。图像像素。一维卷积背后的逻辑是什么?

Answers:


16

简而言之,卷积的维数没有什么特别的。如果卷积适合任何问题,则可以考虑任何卷积维数。

维数是要解决的问题的一个属性。例如,1D用于音频信号,2D用于图像,3D用于电影。。。

忽略尺寸简要的数,以下可以认为强度的卷积神经网络(CNN),相对于完全连接的模型,与特定类型的数据处理时:

  1. 与通过完全连接的网络处理的相同数据相比,对卷积处理的每个位置使用共享权重可以显着减少需要学习的参数数量。

  2. 权重共享是正规化的一种形式。

  3. 卷积模型的结构对数据中的局部关系做出了很强的假设,这在正确的情况下使其非常适合问题。

    3.1局部模式提供了良好的预测数据(和/或可以有用地组合成较高层中的更复杂的预测模式)

    3.2在数据中找到的模式类型可以在多个地方找到。在不同的数据点集中找到相同的模式是有意义的。

CNN的这些属性与尺寸数无关。一维CNN可以在一维模式下工作,并且在固定长度信号的信号分析中很有用。例如,它们非常适合分析音频信号。同样适用于某些自然语言处理-尽管允许不同序列长度的递归神经网络可能更适合在那里,特别是那些具有记忆门配置的神经网络,例如LSTM或GRU。CNN仍然更易于管理,您只需将输入填充为固定长度即可。


2D仅适用于灰度图像吗?引入RGB会发生什么?
Mohammad Athar

1
@MohammadAthar:RGB表示为单独的2D信息的通道(或特征图),通常在描述CNN层时也将其视为2D。如果使用TensorFlow或Keras,则一定要使用Conv2D图层定义来处理彩色图像。但是,实现通常会在内部具有3D和4D结构来存储权重。。。从数学上讲,跨多个通道的2D卷积实际上是3D卷积的特例(输入和内核尺寸必须与最后一层匹配)。因此,这是几乎所有的命名约定。
尼尔·斯莱特
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.