Questions tagged «deep-belief-networks»

一种深度神经网络体系结构,允许分层无监督的预训练。


8
用于深度学习的R库
我想知道是否有用于深度学习神经网络的良好R库?我知道还有的nnet,neuralnet以及RSNNS,但没有这些似乎实现深度学习方法。 我对无监督学习,然后进行有监督学习,以及使用辍学防止共同适应特别感兴趣。 / edit:几年后,我发现h20深度学习软件包设计精良且易于安装。我也喜欢mxnet软件包,该软件包安装起来有点困难,但支持像covnets这样的东西,可以在GPU上运行,而且速度非常快。

5
使用深度学习进行时间序列预测
我是深度学习领域的新手,对我来说,第一步是从deeplearning.net网站阅读有趣的文章。在有关深度学习的论文中,Hinton等人大多谈论将其应用于图像问题。有人可以回答我吗?它可以应用于预测时间序列值(财务,互联网流量等)的问题吗?如果可以的话,我应该重点关注哪些重要事项?



3
堆叠卷积自动编码器的体系结构是什么?
因此,我正在尝试使用卷积网络对人的图像进行预训练。我阅读了论文(Paper1和Paper2)以及这个stackoverflow链接,但是我不确定我是否了解网络的结构(在论文中没有很好地定义)。 问题: 我可以让我的输入,然后是噪波层,接着是conv层,再是池化层-之后-在提供输出之前是否要进行解池(与输入图像相同)? 假设我有几张(135,240)张图片。如果使用32(12,21)个内核,然后使用(2,2)池化,则最终将得到32(62,110)个特征图。现在,我是否要分解以获取32(124、220)个特征图,然后对其进行展平?给我的(135,240)输出层之前? 如果我有多个这样的转换池层,是否应该一一训练它们-就像在堆叠的去噪自动编码器中一样?或者-我可以有类似input-conv-pool-conv-pool-conv-pool-output(输出与输入相同)的东西吗?在那种情况下,应该如何管理池化,池化?我是否应该仅在输出之前的最后一个池层中解池?再说一遍,该分池的调整大小因素应该是什么?是否打算将要素图恢复为输入的形状? 我应该在每个conv-pool-depool层之后引入噪声层吗? 然后在进行微调时-我是否应该只删除去池层,其余的保持不变。还是应该同时删除噪声层和去池化层 谁能指出我的网址/论文,其中详细介绍了这种堆叠式卷积自动编码器的架构,可以对图像进行预训练?


2
受限玻尔兹曼机器:如何在机器学习中使用?
背景: 是的,可以使用受限玻尔兹曼机(RBM)来启动神经网络的权重。此外,它可以在一个“层-层”的方式被用于建立一个深信念网络(即,培养一个上的顶部第层(ñ - 1 )个层,然后训练ñ + 1上的顶层第ñ个层,漂洗和重复...) ññn(n − 1 )(ñ-1个)(n-1)n + 1ñ+1个n+1ññn。 关于如何使用RBM,可以从《受限玻尔兹曼机器》(RBM)的“ 良好”教程的线程中找到详细信息,在该 文章中可以找到一些论文和教程。 我的问题是: RBM是否真的用于工业项目或学术项目中 如果是,如何使用它以及在哪个项目上使用? 有没有流行的库(例如tensorflow,Caffe,Theono等)提供RBM模块? 感谢分享。我想知道成果管理制在实践中是否真的有用。


3
将神经网络数学建模为图形模型
我正在努力在神经网络和图形模型之间建立数学联系。 在图形模型中,这个想法很简单:概率分布根据图中的派系分解,势通常为指数族。 神经网络是否有等效的推理?能否用受限的玻尔兹曼机或CNN表示单位(变量)上单位(变量)随其能量或单位之间能量乘积的概率分布? 另外,概率分布是否由指数族的RBM或深度信仰网络(例如带有CNN)建模? 我希望找到一种文本,这些文本以约旦和温赖特(Jordan&Wainwright)的图形模型,图形族,指数族和变分推论对图形模型所做的相同方式,来形式化这些现代神经网络和统计之间的联系。任何指针都很棒。

2
如何理解卷积深度信念网络进行音频​​分类?
Lee等人在“ 用于分层表示的可扩展无监督学习的卷积深度信念网络 ”中。(PDF)提出了卷积DBN。还对该方法进行了图像分类评估。这听起来很合逻辑,因为具有自然的局部图像特征,例如小角和边缘等。 Lee等人在“ 使用卷积深度置信网络进行音频​​分类的无监督特征学习 ”中。等 此方法适用于不同类别的音频。说话者识别,性别识别,电话分类以及一些音乐流派/艺术家分类。 如何将网络的卷积部分解释为音频,就像将图像解释为边缘一样?


3
使用深度学习进行特征选择?
我想使用深度模型来计算每个输入功能的重要性。 但是我只发现了一篇有关使用深度学习进行深度选择的文章。它们在第一个隐藏层之前插入直接连接到每个要素的节点层。 我听说深度信任网络(DBN)也可以用于此类工作。但是我认为DBN仅提供PCA等功能的抽象(类),因此尽管它可以有效地减小尺寸,但我想知道是否有可能计算每个功能的重要性(权重)。 DBN是否可以计算功能的重要性?还有其他使用深度学习进行特征选择的方法吗?

2
在实践中应用深度学习的瓶颈
在阅读了很多深度学习论文之后,一种粗略的感觉是,在训练网络以获得比正常情况更好的性能方面存在很多技巧。从行业应用的角度来看,很难开发这种技巧,除了那些大型科技公司中的精英研究小组,例如google或facebook。那么在实践中应用深度学习算法的最佳方法是什么。任何想法和建议将不胜感激。
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.