Questions tagged «autoencoders»

我在Google，Wikipedia，Google Scholar等上进行了搜索，但找不到Autoencoders的来源。也许这是一个逐渐发展的概念，不可能追溯到一个清晰的起点，但是我仍然想对它们的主要发展步骤进行一些总结。 Ian Goodfellow，Yoshua Bengio和Aaron Courville的深度学习书中有关自动编码器的章节说： 几十年来，自动编码器的思想已成为神经网络历史的一部分（LeCun，1987； Bourlard和Kamp，1988； Hinton和Zemel，1994）。传统上，自动编码器用于降维或特征学习。 此演示文稿由帕斯卡尔·文森特说： 实际上，使用经典自动编码器进行降噪的方法要早得多（LeCun，1987； Gallinari等，1987），作为Hopfield网络的替代方法（Hopfield，1982）。 这似乎暗示“经典自动编码器”在此之前存在：LeCun和Gallinari使用了它们，但并未发明它们。1987年之前，我看不到“经典自动编码器”的踪迹。 有任何想法吗？

14 neural-networks  autoencoders  history 

据我所知，自动编码器和t-SNE都用于减少非线性维数。它们之间有什么区别，为什么我应该一个使用另一个？

12 neural-networks  deep-learning  dimensionality-reduction  autoencoders  tsne 

当使用神经网络实现自动编码器时，大多数人将使用Sigmoid作为激活函数。 我们可以改用ReLU吗？（由于ReLU对上限没有限制，因此基本上意味着输入图像的像素可以大于1，这与使用Sigmoid时自动编码器的限制条件不同）。

11 machine-learning  neural-networks  deep-learning  autoencoders 

我一直在执行VAE，并且在网上注意到简化的单变量高斯KL散度的两种不同实现。原始发散按照这里是 如果我们假设我们事先是单位高斯即μ2=0和σ2=1，这简化向下 ķ大号升ö小号小号=-日志（σ1）+σ 2 1 +μ 2 1ķ大号升Ø 小号小号= 日志（σ2σ1个）+ σ21个+ （μ1个- μ2）22个σ22− 12KLloss=log⁡(σ2σ1)+σ12+(μ1−μ2)22σ22−12 KL_{loss}=\log(\frac{\sigma_2}{\sigma_1})+\frac{\sigma_1^2+(\mu_1-\mu_2)^2}{2\sigma^2_2}-\frac{1}{2} μ2= 0μ2=0\mu_2=0σ2= 1σ2=1\sigma_2=1 这就是我的困惑所在。尽管我发现上述实现有一些晦涩的github仓库，但我更常用的是：ķ大号升Ø 小号小号= - 日志（σ1个）+ σ21个+ μ21个2− 12KLloss=−log⁡(σ1)+σ12+μ122−12 KL_{loss}=-\log(\sigma_1)+\frac{\sigma_1^2+\mu_1^2}{2}-\frac{1}{2} ķ大号升Ø 小号小号= - 12（2 日志（σ1个）- σ21个- μ21个+ 1 ）KLloss=−12(2log⁡(σ1)−σ12−μ12+1) KL_{loss}=-\frac{1}{2}(2\log(\sigma_1)-\sigma_1^2-\mu_1^2+1) = - 12（日志（σ1个）- σ1个- μ21个+ 1 ）=−12(log⁡(σ1)−σ1−μ12+1) =-\frac{1}{2}(\log(\sigma_1)-\sigma_1-\mu^2_1+1) 例如在官方Keras自动编码器教程中。我的问题是，这两者之间我想念什么？主要区别是在对数项上降低因子2，而不是对方差求平方。从分析上讲，我成功地使用了后者，以获取其价值。在此先感谢您的帮助！

10 inference  kullback-leibler  autoencoders  variational-bayes 

自动编码器网络似乎比普通分类器MLP网络更复杂。在使用Lasagne进行了几次尝试之后，我在重构输出中得到的所有内容在最好的情况下类似于MNIST数据库的所有图像的模糊平均，而没有区分输入位数是多少。 我选择的网络结构为以下层叠层： 输入层（28x28） 2D卷积层，滤镜尺寸7x7 最大汇聚层，大小3x3，步幅2x2 密集（完全连接）的展平层，10个单位（这是瓶颈） 密集（完全连接）层，共121个单元 将图层重塑为11x11 2D卷积层，滤镜大小3x3 2D放大层系数2 2D卷积层，滤镜大小3x3 2D放大层系数2 2D卷积层，滤镜尺寸5x5 功能最大池化（从31x28x28到28x28） 所有的2D卷积层都具有无偏差的偏置，S型激活和31个滤波器。 所有完全连接的层均具有S型激活。 使用的损失函数为平方误差，更新函数为adagrad。用于学习的块的长度是100个样本，乘以1000个纪元。 下面是该问题的说明：上面的行是设置为网络输入的一些样本，下面的行是重构： 为了完整起见，以下是我使用的代码： import theano.tensor as T import theano import sys sys.path.insert(0,'./Lasagne') # local checkout of Lasagne import lasagne from theano import pp from theano import function import gzip import numpy as np from …

9 machine-learning  neural-networks  dimensionality-reduction  unsupervised-learning  autoencoders 

在CNN中，我们将学习过滤器以在卷积层中生成特征图。 在自动编码器中，每一层的单个隐藏单元都可以视为过滤器。 在这两个网络中学习的过滤器之间有什么区别？

9 machine-learning  neural-networks  conv-neural-network  autoencoders