我最近读了乔纳森·朗（Jonathan Long），埃文·谢尔哈默（Evan Shelhamer）和特雷弗·达雷尔（Trevor Darrell）撰写的用于语义分割的全卷积网络。我不了解“反卷积层”的作用/作用方式。

相关部分是

3.3。向上采样是向后跨步的卷积

将粗略输出连接到密集像素的另一种方法是插值。例如，简单的双线性插值通过仅依赖于输入和输出像元的相对位置的线性映射从最近的四个输入计算每个输出。 从某种意义上讲，使用因子进行的上采样是具有1 / f的分数输入步幅的卷积。只要f是整数，向上采样的自然方法就是以输出步幅f向后进行卷积（有时称为反卷积） 。这样的操作很容易实现，因为它简单地反转了卷积的前进和后退。$y_{ij}$
$f$$f$$f$
因此，通过从像素方向的损失进行反向传播，在网络中执行上采样以进行端到端学习。
注意，在这样的层中的去卷积滤波器不必是固定的（例如，固定为双线性上采样），而是可以学习的。一堆解卷积层和激活函数甚至可以学习非线性上采样。
在我们的实验中，我们发现网络内上采样对于学习密集预测是快速有效的。我们最好的分割架构使用这些层来学习上采样，以进行第4.2节中的精确预测。

我不认为我真的了解卷积层是如何训练的。

我想我了解的是，内核大小为卷积层学习大小为过滤器。卷积层的内核大小为，步幅为和过滤器的输出的尺寸为。但是，我不知道卷积层的学习是如何工作的。（如果有帮助，我知道简单的MLP如何通过梯度下降来学习）。ķ × ķ ķ 小号∈ Ñ$k$$k \times k$$k$$s \in \mathbb{N}$$n$$\frac{\text{Input dim}}{s^2} \cdot n$

因此，如果我对卷积层的理解是正确的，我不知道如何将其逆转。

有人可以帮我理解反卷积层吗？

反卷积层是一个非常不幸的名称，应该称为转置卷积层。

视觉上，对于跨步为1且没有填充的转置卷积，我们只需将原始输入（蓝色条目）填充为零（白色条目）即可（图1）。

在第二步和填充的情况下，转置的卷积看起来像这样（图2）：

你可以找到卷积码运算的多（大）的可视化在这里。

我认为，获得卷积背后真正基本水平直觉的一种方法是，在输入图像上滑动K个滤镜，您可以将其视为K个模具，并产生K个激活-每个激活都表示与特定模具的匹配程度。相反的操作是进行K次激活并将其扩展为卷积操作的原像。因此，对反向操作的直观解释大致是在给定模板（过滤器）和激活（每个模板的匹配程度）的情况下进行图像重建，因此，在基本的直观层次上，我们希望通过模板遮罩炸毁每个激活并将它们加起来

了解deconv的另一种方法是检查Caffe中的反卷积层实现，请参见以下相关代码位：

DeconvolutionLayer<Dtype>::Forward_gpu
ConvolutionLayer<Dtype>::Backward_gpu
CuDNNConvolutionLayer<Dtype>::Backward_gpu
BaseConvolutionLayer<Dtype>::backward_cpu_gemm

您可以看到，它在Caffe中的实现与常规正向卷积层的backprop完全一样（对我来说，在我比较cuDNN转换层中的backprop的实现与使用GEMM实现的ConvolutionLayer :: Backward_gpu之后，这一点更加明显）。因此，如果您完成反向传播以进行常规卷积的工作，您将了解在机械计算级别上会发生什么。该计算的工作方式与本简介第一段中描述的直觉相匹配。

但是，我不知道卷积层的学习是如何工作的。（如果有帮助，我知道简单的MLP如何通过梯度下降来学习）。

为了回答第一个问题中的另一个问题，MLP反向传播（完全连接的层）和卷积网络之间有两个主要区别：

1）权重的影响是局部的，因此首先要弄清楚如何对3x3滤波器进行反向传播，例如将3x3滤波器与输入图像的3x3小区域卷积在一起，映射到结果图像中的单个点。

2）为空间不变性共享卷积滤波器的权重。实际上，这意味着在前向通过中，将具有相同权重的相同3x3滤镜拖动到具有相同权重的整个图像中，以进行正向计算以产生输出图像（针对该特定滤镜）。这对反向传播意味着什么，就是在源图像中每个点的反向传播梯度在向前通过过程中拖动滤镜的整个范围内求和。注意，由于需要向后传播dLoss / dx，因此损耗wrt x，w和偏差也存在不同的梯度，而dLoss / dw是我们更新权重的方式。w和bias是计算DAG中的独立输入（没有先前的输入），因此无需对它们进行反向传播。

(my notation here assumes that convolution is y = x*w+b where '*' is the convolution operation)

逐步数学解释了转置卷积如何使用3x3滤波器和2步幅进行2x升采样：

用于验证数学的最简单的TensorFlow代码段：

import tensorflow as tf
import numpy as np

def test_conv2d_transpose():
    # input batch shape = (1, 2, 2, 1) -> (batch_size, height, width, channels) - 2x2x1 image in batch of 1
    x = tf.constant(np.array([[
        [[1], [2]], 
        [[3], [4]]
    ]]), tf.float32)

    # shape = (3, 3, 1, 1) -> (height, width, input_channels, output_channels) - 3x3x1 filter
    f = tf.constant(np.array([
        [[[1]], [[1]], [[1]]], 
        [[[1]], [[1]], [[1]]], 
        [[[1]], [[1]], [[1]]]
    ]), tf.float32)

    conv = tf.nn.conv2d_transpose(x, f, output_shape=(1, 4, 4, 1), strides=[1, 2, 2, 1], padding='SAME')

    with tf.Session() as session:
        result = session.run(conv)

    assert (np.array([[
        [[1.0], [1.0],  [3.0], [2.0]],
        [[1.0], [1.0],  [3.0], [2.0]],
        [[4.0], [4.0], [10.0], [6.0]],
        [[3.0], [3.0],  [7.0], [4.0]]]]) == result).all()

斯坦福CS类CS231n：安德烈·卡帕西（Andrej Karpathy）编写的CS231n：用于视觉识别的卷积神经网络附带的注释在解释卷积神经网络方面做得非常出色。

阅读本文应该使您大致了解：

• 反卷积网络 Matthew D.Zeiler，Dilip Krishnan，Graham W.Taylor和Rob Fergus纽约大学Courant研究所计算机科学系

这些幻灯片非常适合反卷积网络。

刚刚从theaon网站上找到了有关该主题的精彩文章[1]：

对转置卷积的需求通常是由于希望使用与正常卷积相反的方向进行变换以将特征图投影到更高维度的空间而产生的。即，从4维空间映射到16维空间，同时保持卷积的连通性模式。

转置卷积（也称为分数跨步卷积）通过交换卷积的前进和后退路径来工作。一种表达方式是注意内核定义了卷积，但是它是直接卷积还是转置卷积取决于如何计算正向和反向遍历。

可以将转置卷积操作视为某些卷积相对于其输入的梯度，这通常是实践中如何实现转置卷积。

最后请注意，始终可以通过直接卷积实现转置卷积。缺点是它通常涉及将许多零列和零行添加到输入中，导致实现效率大大降低。

因此，简而言之，“转置卷积”是使用矩阵的数学运算（就像卷积一样），但是在您想要从卷积值返回到原始值（相反方向）的情况下，它比普通卷积运算更有效。这就是为什么在实现中优选在计算相反方向时进行卷积（即避免因填充输入而导致的稀疏矩阵导致许多不必要的0乘法）。

Image ---> convolution ---> Result

Result ---> transposed convolution ---> "originalish Image"

有时，您会沿卷积路径保存一些值，并在“返回”时重用该信息：

Result ---> transposed convolution ---> Image

这可能就是它被错误地称为“反卷积”的原因。但是，它确实与卷积的矩阵转置（C ^ T）有关，因此更合适的名称为“转置卷积”。

因此，在考虑计算成本时，这很有意义。如果不使用转置卷积，您将为亚马逊GPU付出更多。

在此处仔细阅读并观看动画：http : //deeplearning.net/software/theano_versions/dev/tutorial/conv_arithmetic.html#no-zero-padding-unit-strides-transposed

其他一些相关的读物：

滤波器的转置（或更普遍地，埃尔米特或共轭转置）就是匹配滤波器[3]。这是通过时间反转内核并采用所有值的共轭来发现的[2]。

我对此也不陌生，对于任何反馈或更正将不胜感激。

[1] http://deeplearning.net/software/theano_versions/dev/tutorial/conv_arithmetic.html

[2] http://deeplearning.net/software/theano_versions/dev/tutorial/conv_arithmetic.html#transposed-convolution-arithmetic

[3] https://zh.wikipedia.org/wiki/Matched_filter

我们可以使用PCA进行类比。

使用conv时，前向传递是从输入图像中提取主成分的系数，而后向传递（是更新输入）是使用系数（的斜率）来重建新的输入图像，以便新的输入图像具有PC系数，可以更好地匹配所需系数。

使用deconv时，前向通过和后向通过是相反的。正向遍历尝试根据PC系数重建图像，而后向遍历根据给定图像（的梯度）更新PC系数。

deconv正向传递完全按照这篇文章中给出的conv梯度计算：http ://andrew.gibiansky.com/blog/machine-learning/convolutional-neural-networks/

这就是为什么在deconv的caffe实现中（请参阅Andrei Pokrovsky的答案），deconv正向传递调用back_cpu_gemm（），而反向传递则调用forward_cpu_gemm（）。

除了David Dao的回答：还可以反过来思考。除了关注哪个（低分辨率）输入像素用于生成单个输出像素外，您还可以关注哪个单个输入像素对输出像素的哪个区域起作用。

这是在此摘录出版物中完成的，包括一系列非常直观和交互式的可视化。朝这个方向思考的一个优势是，解释棋盘伪像变得容易。

从DSP角度看卷积

我有点迟了，但仍然想分享我的观点和见解。我的背景是理论物理学和数字信号处理。特别是，我几乎研究了小波和卷积；）

深度学习社区中人们谈论卷积的方式也让我感到困惑。在我看来，似乎缺少的是适当分离关注点。我将解释使用一些DSP工具进行的深度学习卷积。

免责声明

为了阐明要点，我的解释将有些麻烦，而且数学上并不严格。

定义

让我们先定义一些东西。我将讨论限于一维（扩展到更大的维度是直截了当的）无限的（因此我们不需要弄乱边界）序列。$x_n = \{x_n\}_{n=-\infty}^{\infty} = \{\dots, x_{-1}, x_{0}, x_{1}, \dots \}$

两个序列和之间的纯（离散）卷积定义为$y_n$$x_n$

$$(y * x)_n = \sum_{k=-\infty}^{\infty} y_{n-k} x_k$$

如果我们用矩阵向量运算的形式来编写，则看起来像这样（假设一个简单的内核和向量）：$\mathbf{q} = (q_0,q_1,q_2)$$\mathbf{x} = (x_0, x_1, x_2, x_3)^T$

$$\mathbf{q} * \mathbf{x} = \left( \begin{array}{cccc} q_1 & q_0 & 0 & 0 \\ q_2 & q_1 & q_0 & 0 \\ 0 & q_2 & q_1 & q_0 \\ 0 & 0 & q_2 & q_1 \\ \end{array} \right) \left( \begin{array}{cccc} x_0 \\ x_1 \\ x_2 \\ x_3 \end{array} \right)$$

让我们分别介绍下采样和上采样运算符和。通过系数下采样将删除除第k个样本以外的所有样本：$\downarrow$$\uparrow$$k \in \mathbb{N}$

$$\downarrow_k\!x_n = x_{nk}$$

并且因数上采样是在样本之间交织零：$k$$k-1$

$$\uparrow_k\!x_n = \left \{ \begin{array}{ll} x_{n/k} & n/k \in \mathbb{Z} \\ 0 & \text{otherwise} \end{array} \right.$$

例如，我们有：$k=3$

$$\downarrow_3\!\{ \dots, x_0, x_1, x_2, x_3, x_4, x_5, x_6, \dots \} = \{ \dots, x_0, x_3, x_6, \dots \}$$ $$\uparrow_3\!\{ \dots, x_0, x_1, x_2, \dots \} = \{ \dots x_0, 0, 0, x_1, 0, 0, x_2, 0, 0, \dots \}$$

或根据矩阵运算（此处）编写：$k=2$

$$\downarrow_2\!x = \left( \begin{array}{cc} x_0 \\ x_2 \end{array} \right) = \left( \begin{array}{cccc} 1 & 0 & 0 & 0 \\ 0 & 0 & 1 & 0 \\ \end{array} \right) \left( \begin{array}{cccc} x_0 \\ x_1 \\ x_2 \\ x_3 \end{array} \right)$$

和

$$\uparrow_2\!x = \left( \begin{array}{cccc} x_0 \\ 0 \\ x_1 \\ 0 \end{array} \right) = \left( \begin{array}{cc} 1 & 0 \\ 0 & 0 \\ 0 & 1 \\ 0 & 0 \\ \end{array} \right) \left( \begin{array}{cc} x_0 \\ x_1 \end{array} \right)$$

正如人们已经可以看到的，向下和上采样运算符相互调换，即。$\uparrow_k = \downarrow_k^T$

深度学习卷积

让我们看一下深度学习中使用的典型卷积以及如何编写它们。给定一些内核和向量我们具有以下内容：$\mathbf{q}$$\mathbf{x}$

• 跨度为的跨步卷积为，$k$$\downarrow_k\!(\mathbf{q} * \mathbf{x})$
• 因子为的扩张卷积为，$k$$(\uparrow_k\!\mathbf{q}) * \mathbf{x}$
• 步长为的转置卷积为$k$$\mathbf{q} * (\uparrow_k\!\mathbf{x})$

让我们重新排列一下转置的卷积：

$$\mathbf{q} * (\uparrow_k\!\mathbf{x}) \; = \; \mathbf{q} * (\downarrow_k^T\!\mathbf{x}) \; = \; (\uparrow_k\!(\mathbf{q}*)^T)^T\mathbf{x}$$

在这种表示法必须将其作为运算符来读取，即，它将与内核卷积的内容抽象化。或用矩阵运算编写（示例）：$(\mathbf{q}*)$$\mathbf{q}$

$$\begin{align} \mathbf{q} * (\uparrow_k\!\mathbf{x}) & = \left( \begin{array}{cccc} q_1 & q_0 & 0 & 0 \\ q_2 & q_1 & q_0 & 0 \\ 0 & q_2 & q_1 & q_0 \\ 0 & 0 & q_2 & q_1 \\ \end{array} \right) \left( \begin{array}{cc} 1 & 0 \\ 0 & 0 \\ 0 & 1 \\ 0 & 0 \\ \end{array} \right) \left( \begin{array}{c} x_0\\ x_1\\ \end{array} \right) \\ & = \left( \begin{array}{cccc} q_1 & q_2 & 0 & 0 \\ q_0 & q_1 & q_2 & 0 \\ 0 & q_0 & q_1 & q_2 \\ 0 & 0 & q_0 & q_1 \\ \end{array} \right)^T \left( \begin{array}{cccc} 1 & 0 & 0 & 0\\ 0 & 0 & 1 & 0\\ \end{array} \right)^T \left( \begin{array}{c} x_0\\ x_1\\ \end{array} \right) \\ & = \left( \left( \begin{array}{cccc} 1 & 0 & 0 & 0\\ 0 & 0 & 1 & 0\\ \end{array} \right) \left( \begin{array}{cccc} q_1 & q_2 & 0 & 0 \\ q_0 & q_1 & q_2 & 0 \\ 0 & q_0 & q_1 & q_2 \\ 0 & 0 & q_0 & q_1 \\ \end{array} \right) \right)^T \left( \begin{array}{c} x_0\\ x_1\\ \end{array} \right) \\ & = (\uparrow_k\!(\mathbf{q}*)^T)^T\mathbf{x} \end{align}$$

可以看到，是转置操作，即名称。

连接到最近的邻居上采样

在卷积网络中发现的另一种常见方法是使用某种内置形式的插值进行上采样。让我们通过简单的重复插值以因子2进行上采样。可以写成。如果我们还向其中添加一个可学习的内核，得到。卷积可以合并，例如对于，我们有$\uparrow_2\!(1\;1) * \mathbf{x}$$\mathbf{q}$$\uparrow_2\!(1\;1) * \mathbf{q} * \mathbf{x}$$\mathbf{q}=(q_0\;q_1\;q_2)$

$$(1\;1) * \mathbf{q} = (q_0\;\;q_0\!\!+\!q_1\;\;q_1\!\!+\!q_2\;\;q_2),$$

也就是说，我们可以用因子大小为2的重复上采样器和大小为3的内核的卷积替换为内核大小为4的转置卷积。此转置卷积具有相同的“插值能力”，但能够学习更好的匹配插值。

结论和最后评论

我希望我可以通过在基本操作中将它们分开来澄清一些在深度学习中发现的常见卷积。

我没有在这里盖池。但这只是非线性下采样器，也可以在此表示法内进行处理。

在遇到这篇博客文章之前，我很难理解本文中到底发生了什么：http : //warmspringwinds.github.io/tensorflow/tf-slim/2016/11/22/upsampling-and-image-segmentation与tensorflow和tf-slim /

这是我如何理解2倍上采样中发生情况的摘要：

纸上信息

• 什么是上采样？
  • “因数f的上采样是卷积，输入步幅为1 / f”
  • →根据例如http://deeplearning.net/software/theano/tutorial/conv_arithmetic.html，分数步卷积也称为转置卷积
• 该卷积的参数是什么？
  • f = 2
  • →输入步幅1 / f = 1/2
  • →内核大小= 2 *因子-因子％2 = 2 * 2 -0 = 4（根据http://warmspringwinds.github.io/tensorflow/tf-slim/2016/11/22/upsampling-and-image-segmentation）与tensorflow和tf-slim /
• 重量是固定的还是可训练的？
  • 该论文指出“我们将2x上采样初始化为双线性插值，但允许学习参数”。
  • 但是，相应的github页面指出“在我们的原始实验中，将插值层初始化为双线性核，然后进行了学习。在后续实验和此参考实现中，双线性核是固定的”
  • →固定砝码

简单的例子

1. 想象以下输入图像：

2. 分数步法卷积的工作原理是在这些值之间插入factor-1 = 2-1 = 1个零，然后再假设stride = 1。因此，您收到以下6x6填充的图像

3. 双线性4x4滤镜看起来像这样。选择其值，以使使用的权重（=所有权重未与插入的零相乘）总和为1。它的三个唯一值分别为0.56、0.19和0.06。此外，按照惯例，滤波器的中心是第三行和第三列中的像素。

4. 在填充的图像上应用4x4滤镜（使用padding ='same'和stride = 1）会产生以下6x6上采样图像：

5. 对每个通道分别执行这种上采样（请参阅https://github.com/shelhamer/fcn.berkeleyvision.org/blob/master/surgery.py的第59行）。最后，使用双线性插值和有关如何处理边界的约定，2x上采样实际上是非常简单的调整大小。我相信16倍或32倍的升采样的工作方式几乎相同。

下面的论文讨论了反卷积层，两者都是从架构和训练的角度来看的。反卷积网络