深度信任网络还是深度玻尔兹曼机器?


28

我糊涂了。深度信念网络和深度玻尔兹曼机器之间有区别吗?如果是这样,有什么区别?


2
关于深度信仰网络的维基百科文章相当清楚,尽管对术语的词源/历史有更全面的了解将是有用的/有见地的。基本上,深度置信网络与概率pov的深度神经网络相当相似,而深度boltzmann机器是用于实现深度置信网络的一种算法。显然,所有的人工神经网络都具有概率解释/模型,但是它们不像某些面向贝叶斯/概率的“信念”模型那样容易/直接获得。
vzn 2014年

Answers:


19

尽管深层信任网络(DBN)和深层玻尔兹曼机(DBM)在图表上看起来非常相似,但它们实际上在质量上却有很大不同。这是因为DBN是有向的,而DBM是无向的。如果我们想让它们适合更广泛的ML图像,我们可以说DBN是具有许多紧密连接的潜变量层的S型信念网络,而DBM是具有许多紧密连接的潜变量层的马尔可夫随机场。

因此,它们继承了这些模型的所有属性。例如,在DBN计算,其中v是可见层,h是隐藏变量很容易。另一方面,由于难处理的分区功能,在DBM中计算任何东西的P通常在计算上是不可行的。Pv|HvHP

话虽这么说,但有很多相似之处。例如:

  1. DBN和原始DBM都使用基于受限Bolzmann机器(RBM)的贪婪分层训练的初始化方案进行工作,
  2. 他们都是“深”。
  3. 它们都具有潜在变量层,这些潜变量层紧密地连接到上下层,但没有层内连接等。

1
DBN如何成为S型信念网络?DBN的层是RBM,因此每一层都是马尔可夫随机字段!
杰克·吐温2014年

我认为这里有一个错字:“这是因为DBM是定向的,而DBM是非定向的。” 我认为您是说DBN是无方向性的
杰克·吐温2014年

@AlexTwain是的,应该阅读“定向DBN”。即使您可能通过先学习一堆RBM来初始化DBN,但最后通常还是要解开权重并得到一个深的S型信念网络(定向)。在许多原始的DBN工作中,人们没有引导顶层,然后通过唤醒睡眠等方法进行微调,在这种情况下,您需要混合动力。
高音2014年

您是说3.中没有“层内”连接(例如,隐藏层中的节点之间)而不是*中间层(例如,从输入到隐藏层)吗?
ddiez

@ddiez是的,那应该是这样。感谢您的指正。
2015年

4

两者都是由RBM的堆叠层组成的概率图形模型。这些层之间的连接方式不同。

该链接非常清楚:http : //jmlr.org/proceedings/papers/v5/salakhutdinov09a/salakhutdinov09a.pdf。图2和3.1节特别相关。

总结一下:

在DBN中,层之间的连接是定向的。因此,前两层形成RBM(无向图形模型),然后后续层形成有向的生成模型。

在DBM中,所有层之间的连接都是无向的,因此每对层形成一个RBM。


如此深的波兹曼机仍是由RBM制成的吗?我在我的基础上在纸上的介绍和形象结论
马林
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.