“同等翻译”和“同等翻译”有什么区别

38

我很难理解翻译的等变量和翻译的不变量之间的区别。

在《深度学习》一书中。麻省理工学院出版社，2016年（I. Goodfellow，A。Courville和Y. Bengio），在卷积网络上可以找到：

[...]参数共享的特定形式导致该图层具有一个称为“ 等值转换” 的属性
[...]池有助于使代表成为大致不变的输入小的平移

它们之间是否有区别，或者这些术语可以互换使用？

neural-network deep-learning convolution

— 亚米尔
source

2

在统计的旧时代（如Pitman时代），不变是指等变。

— 西安

39

等变性和不变性有时可以互换使用。正如@西安所指出的那样，您可以在统计文献中找到用途，例如用于不变估计量，尤其是Pitman估计量的概念。

不过，我想提一提，它会更好，如果这两个方面不断分离，为前缀“ 在- ”在不变的剥夺（意为“没有变化”的话），而“ equi- ”在等变指的是“变以相似或相当的比例”。换句话说，一个不动，另一个不动。

让我们从简单的图像特征开始，并假设图像 $I$ 在空间像素位置具有唯一的最大值 $m$ ，这是这里的主要分类特征。换句话说：图像及其所有翻译都是“相同的”。分类器的一个有趣特性是它们能够以相同的方式对一些变形版本进行分类，例如通过所有向量。 $(x_m,y_m)$ $I'$ $I$ $(u,v)$

最大值 $m'$ 的 $I'$ 是不变的： $m'=m$ ：该值是相同的。当它的位置在 $(x'_m,y'_m)=(x_m-u,y_m-v)$ ，并且被等变的，这意味着与失真而变化“同样”。

数学中等方差给出的精确公式取决于一个人考虑的对象和变换，因此在这里我更喜欢在实践中最常使用的概念（从理论的角度来看，我可能会对此负责）。

在此，翻译（或一些更通用的动作）可以配备组 $G$ 的结构，其中 $g$ 是一个特定的翻译运算符。如果对于一个类中的所有图像，并且对于任何，函数或特征 $f$ 在 $G$ 下都是不变的，则 $g$

f (g (I)) = f (I) .

$f(g(I)) = f(I)\,.$

如果存在另一个以有意义的方式反映中的变换的数学结构或动作（通常是一个组） $G'$ ，则它是等价的。换句话说，使得对于每个，则有一个独特的，使得 $G$ $g$ $g' \in G'$

f (g (I)) = g^{'} (f (I)) .

$f(g(I)) = g'(f(I))\,.$

在上面的示例中，在平移组上， $g$ 和 $g'$ 相同（因此 $G'=G$ ）：图像的整数平移反映为最大位置的完全相同平移。

另一个常见的定义是：

f (g (I)) = g (f (I)) .

$f(g(I)) = g(f(I))\,.$

但是我使用了可能不同的 $G$ 和 $G'$ 因为有时 $f(I)$ 和 $g(I)$ 不在同一个域中。例如，这发生在多元统计中（例如，参见多元分位数和相关函数的等方差和不变性，以及标准化的作用）。但是在这里， $g$ 和 $g'$ 之间的映射的唯一性允许回到原始变换 $g$ 。

人们经常使用不变性一词，因为等变概念不明，或者其他人都使用不变性，而等变似乎更令人讨厌。

作为记录，其他相关概念（尤其是在数学和物理学中）被称为协方差，逆方差，微分不变性。

另外，平移不变性至少是近似不变的，或者是在包络中，一直是对几种信号和图像处理工具的追求。值得注意的是，在过去的25年中，已经设计出了多速率（滤波器组）和多尺度（小波或金字塔）变换，例如在不变位移，循环旋转，平稳，复杂，双树的框架下小波变换（有关2D小波的回顾，多尺度几何表示的全景图）。小波可以吸收一些离散的比例变化。所有这些（近似）不变性通常伴随着转换系数数量冗余的代价。但是它们更有可能产生不变位移或相等位移的特征。

— 劳伦·杜瓦尔（Laurent Duval）
source

4

大！我真的很感谢您为详细回复所做的努力@Laurent Duval

— Aamir

24

术语不同：

与翻译等价意味着输入要素的翻译导致输出的等价翻译。因此，如果您输入的模式0,3,2,0,0在输出中导致0,1,0,0，那么模式0,0,3,2,0可能会导致0,0,1， 0
不变的翻译意味着输入特征的翻译根本不会改变输出。因此，如果您输入的模式0,3,2,0,0在输出中导致0,1,0，则模式0,0,3,2,0也将导致0,1,0

为了使卷积网络中的特征图有用，它们通常需要兼顾两者的属性。等方差使网络可以概括不同位置的边缘，纹理，形状检测。该不变性使得所检测特征的精确定位变得无关紧要。对于许多图像处理任务，这是两种互补的概括类型。

— 尼尔·斯莱特
source

翻译的要素在某些层上产生翻译的输出。请详细说明被检测到的经过翻译的整个对象。似乎即使未使用包含不同位置的图像训练CNN，也会被检测到吗？在这种情况下等方差是否成立（看起来更像不变性）？

— 弗拉基米尔·

@VladimirLenin：我认为这个问题不需要详尽说明，这绝对不是OP在这里问的。我建议您提出一个单独的问题，并在可能的情况下举一个具体的例子。即使在视觉上已经翻译了“整个对象”，这并不意味着CNN中的要素地图会按照您的预期跟踪相同的事物。

— 尼尔·斯莱特

4

只需加上我的2美分

$f : I \rightarrow L$ $I$ $L$ 两步过程（标签集），即

$f : I \rightarrow \mathcal{L}$ 将输入映射到潜在语义空间
$f : \mathcal{L} \rightarrow L$ 从潜在语义空间映射到最终标签空间

使用以下属性执行

空间等方差，将ConvLayer（空间2D卷积+ NonLin，例如ReLU）视为图层输入的偏移会导致图层输出的偏移（注意：这是关于图层的，而不是单个卷积运算符）
关于池化算子的空间不变性（例如，最大池化超过其接受域中的最大值，而不管其空间位置如何）

$I$

$\mathcal{L}$ 并且空间不变性越重要，因为希望图像的特定含义与特征的空间位置无关

在前端中使用完全连接的层使分类器在某种程度上对要素位置敏感，具体取决于后端结构：它越深，使用的平移不变算子（Pooling）就越多

卷积神经网络中的平移不变性量化已表明，改善CNN分类器的平移不变性，而不是对归纳偏差（因此架构，深度，合并等）起作用，对数据集偏差（数据扩充）起作用更有效）

— 尼古拉·贝尼尼（Nicola Bernini）
source