Questions tagged «rbm»

最近，我一直在阅读有关深度学习的文章，并且对术语（或说技术）感到困惑。之间有什么区别 卷积神经网络（CNN）， 受限玻尔兹曼机（RBM）和 自动编码器？

123 neural-networks  deep-learning  conv-neural-network  autoencoders  rbm 

我想知道是否有用于深度学习神经网络的良好R库？我知道还有的nnet，neuralnet以及RSNNS，但没有这些似乎实现深度学习方法。 我对无监督学习，然后进行有监督学习，以及使用辍学防止共同适应特别感兴趣。 / edit：几年后，我发现h20深度学习软件包设计精良且易于安装。我也喜欢mxnet软件包，该软件包安装起来有点困难，但支持像covnets这样的东西，可以在GPU上运行，而且速度非常快。

56 r  neural-networks  deep-learning  rbm  deep-belief-networks 

我糊涂了。深度信念网络和深度玻尔兹曼机器之间有区别吗？如果是这样，有什么区别？

28 machine-learning  deep-learning  rbm  deep-belief-networks 

我有50,000张图片，例如这两张图片： 它们描绘了数据图。我想从这些图像中提取特征，因此我使用了Theano（deeplearning.net）提供的自动编码器代码。 问题是，这些自动编码器似乎没有学习任何功能。我已经尝试过RBM，它是相同的。 MNIST数据集提供了不错的功能，但我的数据似乎没有任何结果。我在下面附上示例： 在MNIST上创建的过滤器： 通过对数据进行训练而创建的过滤器： 我使用了隐藏层大小和训练时期的许多不同排列方式，但结果始终相同。 为什么不起作用？为什么自动编码器不能从这些图像中提取特征？ 编辑： 对于有类似问题的任何人。解决方法非常简单，原因也很愚蠢。我只是忘了重新调整RGB编码的像素值以使其浮动在0-1的范围内。 重新调整值可以解决问题。

24 machine-learning  neural-networks  feature-construction  rbm  autoencoders 

背景： 是的，可以使用受限玻尔兹曼机（RBM）来启动神经网络的权重。此外，它可以在一个“层-层”的方式被用于建立一个深信念网络（即，培养一个上的顶部第层（ñ - 1 ）个层，然后训练ñ + 1上的顶层第ñ个层，漂洗和重复...） ññn（n − 1 ）（ñ-1个）(n-1)n + 1ñ+1个n+1ññn。 关于如何使用RBM，可以从《受限玻尔兹曼机器》（RBM）的“ 良好”教程的线程中找到详细信息，在该 文章中可以找到一些论文和教程。 我的问题是： RBM是否真的用于工业项目或学术项目中 如果是，如何使用它以及在哪个项目上使用？ 有没有流行的库（例如tensorflow，Caffe，Theono等）提供RBM模块？ 感谢分享。我想知道成果管理制在实践中是否真的有用。

21 machine-learning  neural-networks  deep-learning  deep-belief-networks  rbm 

我正在寻找可以比较和讨论（经验或理论上）的论文或文章： Boosting和决策树算法（例如Random Forests或AdaBoost和GentleBoost）应用于决策树。 与 深度学习方法，例如受限玻尔兹曼机，分层时间记忆，卷积神经网络等。 更具体地说，有人知道在速度，准确性或收敛性方面讨论或比较这两种机器学习方法的文章吗？另外，我正在寻找能够解释或总结第二个模块中的模型或方法之间差异（例如优缺点）的文本。 直接解决这种比较的任何指针或答案将不胜感激。

18 machine-learning  deep-learning  cart  rbm  adaboost 

背景：过去约4年的许多现代研究（后alexnet）似乎已不再使用对神经网络进行生成式预训练来获得最新的分类结果。 例如，此处 mnist的最高结果仅包括前两篇论文中似乎使用生成模型的50篇论文，这两篇论文都是RBM。其他48篇获奖论文涉及不同的判别式前馈体系结构，并且为寻找更好的/新颖的权重初始化和激活函数而不是RBM和许多较旧的神经网络中使用的S型曲线付出了很多努力。 问题：是否有现代的理由使用限制玻尔兹曼机？ 如果不是，是否可以对这些前馈体系结构进行实际修改，以使它们的任何层生成？ 动机：我问，因为我看到的某些模型可用，通常是RBM上的变体，不一定与这些生成层/模型具有明显相似的区分性，反之亦然。例如： mcRBM ssRBM CRBM（尽管有人可能会说CNN使用的前馈架构是判别式类似架构） 同样，分别从2010年，2011年和2009年起，这些显然也是prelex网络。

16 references  deep-learning  rbm  generative-models 

为什么将它们称为“机器”？在此上下文中使用的“机器”一词是否有起源？（就像“线性编程”之类的名称可能会令人困惑，但我们知道为什么将其称为“编程”。）

14 svm  terminology  rbm  etymology 

虽然我实际上是在物理课上用玻尔兹曼机进行编程的，但我对它们的理论特性并不熟悉。相反，我对图形模型的理论了解很少（关于Lauritzen的《图形模型》的前几章）。 问题：图形模型和玻尔兹曼机器之间是否存在有意义的关系？玻尔兹曼机是图形模型的一种吗？ 显然，玻尔兹曼机是一种神经网络。我听说有些神经网络在数学上与图形模型有关，而有些则没有。 CrossValidated上的相关问题没有回答我的问题： 这类似于之前已经问过的先前问题：层次模型，神经网络，图形模型，贝叶斯网络之间的关系是什么？但更具体。 此外，对该问题的公认答案并不能澄清我的困惑-即使神经网络的标准图形表示中的节点不表示随机变量，也不一定意味着不存在这种表示形式。具体来说，我正在考虑马尔可夫链的典型图形表示中的节点如何表示可能状态的集合，而不是随机变量，但是也可以创建一个图形，显示之间的条件依赖关系XiXiX_iXiXiX_i，这表明每个马尔可夫链实际上都是一个马尔可夫随机场。答案还说，神经网络（可能包括Boltzmann机器）是“判别性的”，但没有更详细地解释该主张的含义，也没有明显的后续问题“图形模型不是可判别的吗？” 已解决。同样，可接受的答案链接到凯文·墨菲（Kevin Murphy）的网站（当我学习贝叶斯网络时，我实际上阅读了他的博士学位论文），但是该网站仅讨论贝叶斯网络，而根本没有提及神经网络，因此无法阐明它们的方式。是不同的。 这另一个问题可能与我的最相似：将神经网络数学建模为图形模型但是，没有一个答案被接受，同样也仅提供参考，但不解释参考（例如，此答案）。希望有一天我能够理解这些参考资料，但现在我已经具备基本的知识水平，并且最希望得到一个尽可能简化的答案。此外，链接到顶部答案（http://www.cs.toronto.edu/~tijmen/csc321/lecture_notes.shtml）的多伦多课程解决了此问题，但没有非常详细。此外，可能无法回答我的问题的一次讲座的笔记也没有公开。 3月25日，讲座13b：信仰网7:43。对于此幻灯片，请记住Boltzmann Machines。那里也有隐藏的单位和可见的单位，而且都是概率性的。BM和SBN的共同点是多于区别。9:16 如今，“图形模型”有时被视为神经网络的特殊类别，但在此处描述的历史中，它们被认为是非常不同的系统类型。

10 machine-learning  neural-networks  mathematical-statistics  graphical-model  rbm 

我知道预培训可避免常规培训中的某些问题。如果我将反向传播与自动编码器一起使用，我知道我会遇到时间问题，因为反向传播的速度很慢，而且我会陷入局部最优状态而无法学习某些功能。 我不了解的是我们如何预训练网络，以及具体如何进行预训练。例如，如果给我们一堆受限的玻尔兹曼机器，我们将如何对该网络进行预训练？

10 machine-learning  neural-networks  backpropagation  rbm  pre-training 

我正在研究受限玻尔兹曼机（RBM），并且在理解有关RBM参数的对数似然计算时遇到一些问题。尽管已经发表了很多有关RBM的研究论文，但没有详细的衍生步骤。在线搜索后，我可以在此文档中找到它们： Fischer，A.和Igel，C.（2012）。受限玻尔兹曼机器概论。在L. Alvarez等人中。（编）：CIARP，LNCS 7441，第14–36页，施普林格出版社：柏林-海德堡。（pdf） 但是，该文档的详细信息对我来说太高级了。有人可以指出我关于RBM的良好教程/一组讲义吗？ 编辑：@David，令人困惑的部分如下所示（第26页的方程式29）： ∂lnL(θ|v)∂wij=−∑hp(h|v)∂E(v,h)∂wij+∑v,hp(v,h)∂E(v,h)∂wij=∑hp(h|v)hivj−∑vp(v)∑hp(h|v)hivj=p(Hi=1|v)vj−∑vp(v)p(Hi=1|v)vj.(29)∂ln⁡L(θ|v)∂wij=−∑hp(h|v)∂E(v,h)∂wij+∑v,hp(v,h)∂E(v,h)∂wij=∑hp(h|v)hivj−∑vp(v)∑hp(h|v)hivj(29)=p(Hi=1|v)vj−∑vp(v)p(Hi=1|v)vj.\begin{align} \frac{\partial\ln\mathcal{L}(\theta|v)}{\partial w_{ij}} &= -\sum_h p(h|v)\frac{\partial E(v, h)}{\partial w_{ij}} + \sum_{v,h} p(v,h)\frac{\partial E(v,h)}{\partial w_{ij}} \\[5pt] &= \sum_h p(h|v)h_iv_j - \sum_v p(v) \sum_h p(h|v)h_iv_j \\[5pt] &= \color{orange}{\boxed{\color{black}{p(H_i=1|v)}}}v_j - \sum_v p(v) \color{orange}{\boxed{\color{black}{p(H_i=1|v)}}}v_j\; . \tag{29} \end{align}

10 references  rbm 

我想使用深度模型来计算每个输入功能的重要性。 但是我只发现了一篇有关使用深度学习进行深度选择的文章。它们在第一个隐藏层之前插入直接连接到每个要素的节点层。 我听说深度信任网络（DBN）也可以用于此类工作。但是我认为DBN仅提供PCA等功能的抽象（类），因此尽管它可以有效地减小尺寸，但我想知道是否有可能计算每个功能的重要性（权重）。 DBN是否可以计算功能的重要性？还有其他使用深度学习进行特征选择的方法吗？

9 feature-selection  deep-learning  deep-belief-networks  rbm