关于CNN，内核和缩放/旋转不变性

18

关于CNN，我有几个让我感到困惑的问题。
1）使用CNN提取的特征是缩放和旋转不变吗？
2）我们用来对数据进行卷积的核已经在文献中定义了吗？这些内核是什么样的？每个应用程序都不同吗？

neural-networks deep-learning conv-neural-network

17

1）使用CNN提取的特征是缩放和旋转不变吗？

CNN中的要素本身不是缩放或旋转不变的。有关更多详细信息，请参阅：深度学习。伊恩·古德费洛（Ian Goodfellow）和约舒亚·本吉欧（Yoshua Bengio）和亚伦·库维尔（Aaron Courville）。2016年： http : //egrcc.github.io/docs/dl/deeplearningbook-convnets.pdf ; http://www.deeplearningbook.org/contents/convnets.html：

卷积与其他某些转换（例如图像的比例更改或旋转）自然不是等价的。处理这些类型的转换还需要其他机制。

最大池化层引入了这样的不变量：

2）我们用来对数据进行卷积的核已经在文献中定义了吗？这些内核是什么样的？每个应用程序都不同吗？

在ANN的训练阶段学习内核。

— 弗兰克·德农库特
source

我无法就当前的技术水平谈细节，但是在第一点的话题上，我发现这很有趣。

— GeoMatt22

@Franck 1）这意味着，我们不采取任何特殊步骤使系统旋转不变？尺度不变性如何，可以从最大池中获得尺度不变性？

— Aadnan Farooq A

2）内核是功能。我没听懂 [此处]（wildml.com/2015/11/…）他们提到：“例如，在图像分类中，CNN可以学会从第一层的原始像素中检测边缘，然后使用边缘检测图像中的简单形状。第二层，然后使用这些形状来阻止高层特征，例如高层中的面部形状。最后一层是使用这些高层特征的分类器。”

— Aadnan Farooq A

2

请注意，您正在谈论的池被称为跨通道池，而不是在谈论“最大池”时通常指的池类型，它仅在空间维度上（而不是在不同的输入通道上））。

— Soltius

1

这是否意味着没有最大池层的模型（当前大多数SOTA体系结构都不使用池化）完全取决于规模？

— shubhamgoel18年

6

我认为有些事情使您感到困惑，所以首先要考虑的是第一件事。

给定信号和内核（也称为滤波器），则与的卷积被写为，并且是通过滑动点积计算的，数学上由下式给出： $x[n]$ $h[n]$ $x[n]$ $h[n]$ $y[n] = (x \star h)[n]$

ÿ [ñ] = \sum_{米 = - \infty}^{\infty} X [米] H [ñ - 米]

$y[n] = \sum_{m=-\infty}^{\infty}x[m] \ h[n-m]$

以上对于一维信号来说，但对于仅是二维信号的图像也可以说相同。在这种情况下，等式变为：

{一世}_{ñ Ë w} [[R ， C] = \sum_{ü = - \infty}^{\infty} \sum_{v = - \infty}^{\infty} {一世}_{Ø 升 d} [ü ， v] ķ [[R - ü ， C - v]

$I_{new}[r,c] = \sum_{u=-\infty}^{\infty}\sum_{v=-\infty}^{\infty} I_{old}[u,v] \ k[r-u, c-v]$

从图片上看，这是正在发生的事情：

无论如何，要记住的是在训练深度神经网络（DNN）期间实际学习的内核。内核将成为您与输入进行卷积的对象。DNN将学习内核，从而使内核带出图像（或先前图像）的某些方面，这对于降低目标物镜的损失将是有益的。

这是要了解的第一个关键点：传统上，人们已经设计了内核，但是在深度学习中，我们让网络决定最佳内核。但是，我们要指定的一件事是内核尺寸。（这称为超参数，例如5x5或3x3等）。

— 塔林·齐耶（Tarin Ziyaee）
source

很好的解释。您能回答问题的第一部分吗？关于CNN，缩放/旋转不变吗？

— Aadnan Farooq A

1

@AadnanFarooqA我今晚会这样做。

— Tarin Ziyaee '16

2

包括杰弗里·欣顿（Geoffrey Hinton）（提出胶囊网）在内的许多作者都试图解决该问题，但从质量上讲。我们尝试定量解决此问题。通过使CNN中的所有卷积核对称（二面对称8 [Dih4]或90度增量旋转对称等），我们将为输入向量和每个卷积隐藏层上的结果向量旋转提供一个平台具有相同对称特性的同步（即Dih4或90增量旋转对称等）。另外，通过在第一平坦层上为每个滤波器具有相同的对称属性（即完全连接但权重相同的对称模式），每个节点上的结果值将在数量上相同，并导致CNN输出矢量相同也一样我称其为“变换相同的CNN”（或TI-CNN-1）。还有其他方法也可以使用CNN内部的对称输入或操作（TI-CNN-2）来构造与变换相同的CNN。基于TI-CNN，可以通过多个TI-CNN构造齿轮旋转相同的CNN（GRI-CNN），输入矢量旋转一个小的步距角。此外，还可以通过将多个GRI-CNN与各种转换后的输入向量相结合来构造组成相同的定量CNN。

“通过对称元素算子进行的变换式相同且不变的卷积神经网络” https://arxiv.org/abs/1806.03636（2018年 6月）
“通过结合对称运算或输入向量来实现变形相同且不变的卷积神经网络” https://arxiv.org/abs/1807.11156（2018年 7月）
“齿轮旋转相同且不变的卷积神经网络系统” https://arxiv.org/abs/1808.01280（2018年 8月）

— 本罗
source

-1

我认为最大合并只能为小于步幅大小的平移和旋转保留平移和旋转不变性。如果更大，则不变

— 费曼
source

1

你能扩大一点吗？我们鼓励该站点上的答案比此更详细（现在，这看起来更像是评论）。谢谢！

— Antoine