稀疏编码和自动编码器有什么区别？

35

稀疏编码被定义为学习一组超完备的基础向量来表示输入向量（<-为什么要这样做）。稀疏编码和自动编码器有什么区别？什么时候使用稀疏编码和自动编码器？

— 摇滚之星
source

1

稀疏编码实际上构成了一种特殊类型的自动编码器，称为稀疏自动编码器。因此，您可以视情况将稀疏编码视为自动编码器的子集。

— HelloGoodbye

34

可以通过查看模型来找到差异。首先让我们看一下稀疏编码。

稀疏编码

稀疏编码将目标最小化，其中是基数矩阵，H是代码矩阵，是我们要表示的数据矩阵。实现了稀疏性与重建之间的权衡。请注意，如果给定，则估计

L_{sc} = \underset{reconstruction term}{\underset{⏟}{| | W H - X | |_{2}^{2}}} + \underset{sparsity term}{\underset{⏟}{λ | | H | |_{1}}}

$\mathcal{L}_{\text{sc}} = \underbrace{||WH - X||_2^2}_{\text{reconstruction term}} + \underbrace{\lambda ||H||_1}_{\text{sparsity term}}$

W

$W$

X

$X$

λ

$\lambda$

H

$H$

W

$W$ 则通过最小二乘可轻松

在开始的时候，我们没有但是。然而，存在许多可以解决上述关于的目标的算法。实际上，这就是我们的推理方式：如果我们想知道属于看不见的的就需要解决一个优化问题。 $H$ $H$ $h$ $x$

自动编码器

自动编码器是一系列无监督的神经网络。它们有很多，例如深层自动编码器或附加了不同正则化技巧的编码器，例如降噪，压缩，稀疏。甚至存在概率性变量，例如生成随机网络或变分自动编码器。它们最抽象的形式是但我们会随着一个更简单的一个去现在：

D (d (e (x; θ^{r}); θ^{d}), x)

$D(d(e(x;\theta^r); \theta^d), x)$

其中

是一个非线性函数，例如对数S形

L_{ae} = | | W σ (W^{T} X) - X | |^{2}

$\mathcal{L}_{\text{ae}} = ||W\sigma(W^TX) - X||^2$

σ

$\sigma$

。

σ (x) = \frac{1}{1 + \exp (- x)}

$\sigma(x) = {1 \over 1 + \exp(-x)}$

相似之处

注意，长相几乎像一旦我们设置。两者的区别在于：i）自动编码器不鼓励其一般形式的稀疏性； ii）自动编码器使用模型来查找代码，而稀疏编码则通过优化来这样做。 $\mathcal{L}_{sc}$ $\mathcal{L}_{ae}$ $H = \sigma(W^TX)$

$W$ $W$ $\mathcal{L}_{sc}$ 取决于。）

同样，不同的正则化方法会产生具有不同特征的表示。去噪自动编码器也已被证明等同于某种形式的RBM等。

但为什么？

如果您想解决预测问题，则无需自动编码器，除非只有很少的标签数据和大量的未标签数据，。然后，通常最好训练一个深度自动编码器，然后将线性SVM放在顶部，而不是训练一个深度神经网络。

但是，它们是捕获分布特征的非常强大的模型。这是模糊的，但是目前正在进行将其转化为硬统计事实的研究。深潜高斯模型（又称变分自动编码器或生成随机网络）是获得自动编码器的非常有趣的方式，该编码器可以可靠地估算基础数据分布。

— 拜耳
source

感谢您的回答！那么，在任何情况下均不应该使用稀疏编码，而是自动编码器吗？另外，在稀疏编码中应该有一个额外的术语来规范W？

— RockTheStar

没有这样的一般规则。SC与AE相比有一个好处：通过优化进行编码非常强大。

— 2014年

对不起，您能详细说明一下吗？

— RockTheStar 2014年

拥有一个已估计为遵循某种约束（此处为：稀疏结果）而确定的固定映射要比拥有一个试图在可能的多次迭代中尝试找到类似解决方案的优化器强大得多。

— 2014年

1

很抱歉再次提出这个问题。我认为Autoencoder也可以鼓励稀疏性，即稀疏的autoencoder。

— RockTheStar

11

在神经科学中，术语“神经编码”用于指由刺激诱导的神经元电活动的模式。稀疏编码又是一种模式。当刺激（如图像）仅激活相对较少数量的神经元（组合在一起以稀疏方式表示）的激活时，代码就是稀疏的。在机器学习中，可以使用与创建稀疏代码模型相同的优化约束来实现稀疏自动编码器，该稀疏自动编码器是经过稀疏性约束训练的常规自动编码器。下面给出了每个问题的详细说明。

稀疏编码被定义为学习一组过度完整的基础向量来表示输入向量（<-为什么要这样做）

首先，至少自从（Hubel＆Wiesel，1968）以来，就知道在V1区域中存在特定的细胞，这些细胞对边缘样刺激产生最大的反应（除了具有其他“有用的”特性外）。稀疏编码是一个模型，可以很好地解释该系统的许多观察特性。参见（Olshausen＆Field，1996）更多详细信息。

其次，已经表明，描述稀疏编码的模型是用于机器学习中的特征提取的有用技术，并且在转移学习任务中产生了良好的结果。Raina等。（2007）表明，使用由手写字符组成的训练集学习的一组“基本向量”（特征，如笔触和边线）可改善手写数字识别任务中的分类。后来，基于稀疏编码的模型已用于训练“深度”网络，堆叠稀疏特征检测器的层以创建“稀疏深度置信网” （Lee等，2007）。。最近，使用基于稀疏编码的模型构建具有多层结构的网络（著名的“ Google Brain”），在图像识别方面取得了令人惊讶的结果，该网络能够以纯粹的无监督方式区分猫的图像（Le等。，2013）。