受限玻尔兹曼机器（RBM）的良好教程

10

我正在研究受限玻尔兹曼机（RBM），并且在理解有关RBM参数的对数似然计算时遇到一些问题。尽管已经发表了很多有关RBM的研究论文，但没有详细的衍生步骤。在线搜索后，我可以在此文档中找到它们：

Fischer，A.和Igel，C.（2012）。受限玻尔兹曼机器概论。在L. Alvarez等人中。（编）：CIARP，LNCS 7441，第14–36页，施普林格出版社：柏林-海德堡。（pdf）

但是，该文档的详细信息对我来说太高级了。有人可以指出我关于RBM的良好教程/一组讲义吗？

编辑：@David，令人困惑的部分如下所示（第26页的方程式29）：

$\begin{aligned} \frac{\partial \ln L (θ | v)}{\partial w_{i j}} & = - \sum_{h} p (h | v) \frac{\partial E (v, h)}{\partial w_{i j}} + \sum_{v, h} p (v, h) \frac{\partial E (v, h)}{\partial w_{i j}} \\ = \sum_{h} p (h | v) h_{i} v_{j} - \sum_{v} p (v) \sum_{h} p (h | v) h_{i} v_{j} \\ (29) & = p (H_{i} = 1 | v) v_{j} - \sum_{v} p (v) p (H_{i} = 1 | v) v_{j} . \end{aligned}$ $\begin{align} \frac{\partial\ln\mathcal{L}(\theta|v)}{\partial w_{ij}} &= -\sum_h p(h|v)\frac{\partial E(v, h)}{\partial w_{ij}} + \sum_{v,h} p(v,h)\frac{\partial E(v,h)}{\partial w_{ij}} \\[5pt] &= \sum_h p(h|v)h_iv_j - \sum_v p(v) \sum_h p(h|v)h_iv_j \\[5pt] &= \color{orange}{\boxed{\color{black}{p(H_i=1|v)}}}v_j - \sum_v p(v) \color{orange}{\boxed{\color{black}{p(H_i=1|v)}}}v_j\; . \tag{29} \end{align}$

references rbm

— Upul
source

您能更具体地说明哪些步骤使您感到困惑吗？

— 大卫·J·哈里斯

1

一个良好的阅读是学习深架构来AI（第5章iro.umontreal.ca/~bengioy/papers/ftml_book.pdf）

— dksahuji

@dksahuji也感谢INFO，也感谢教授：Bengio正在编写DL，并且可以在iro.umontreal.ca/~bengioy/dlbook中

— Upul

本教程对RBM的数学进行了解释（关于受限Boltzmann机器的教程）。

— 姜翔

7

我知道这有点晚了，但也许有帮助。要获得方程式的第一项，需要执行以下步骤：我们假设给定可见单位，存在隐藏单位。因此，我们可以分解隐藏状态的条件联合概率分布。

\begin{aligned} \sum_{h} p (h | v) h_{i} v_{j} & = v_{j} \sum_{h_{1}} . . . \sum_{h_{i}} . . . \sum_{h_{n}} p (h_{1}, . . ., h_{i}, . . . h_{n} | v) h_{i} \\ = v_{j} \sum_{h_{i}} \sum_{h_{_i}} p (h_{i}, h_{_i} | v) h_{i} \end{aligned}

$\begin{align} \sum_{\mathbf{h}} p(\mathbf{h} | \mathbf{v})h_iv_j &= v_j \sum_{h_1}...\sum_{h_i}...\sum_{h_n} p(h_1,...,h_i,...h_n | \mathbf{v}) h_i \\[5pt] &= v_j \sum_{h_i} \sum_{\mathbf{h_{\_ i}}}p(h_i, \mathbf{h_{\_i}} | \mathbf{v}) h_i \end{align}$

\begin{aligned} = v_{j} \sum_{h_{i}} \sum_{h_{_i}} p (h_{i} | v) h_{i} p (h_{_i} | v) \\ = v_{j} \sum_{h_{i}} p (h_{i} | v) h_{i} \sum_{h_{_i}} p (h_{_i} | v) \end{aligned}

$\begin{align} &= v_j \sum_{h_i} \sum_{\mathbf{h_{\_ i}}} p(h_i | \mathbf{v}) h_i \: p(\mathbf{h_{\_ i}}|\mathbf{v}) \\[5pt] &= v_j \sum_{h_i} p(h_i | \mathbf{v}) h_i \: \sum_{\mathbf{h_{\_ i}}} p(\mathbf{h_{\_ i}}|\mathbf{v}) \end{align}$ 最后一项等于，因为我们正在对所有状态求和。因此，剩下的就是第一项。由于仅采用状态和我们最终得到：

1

$1$

h_{i}

$h_i$

1

$1$

0

$0$

= v_{j} p (H_{i} = 1 | v)

$\hspace{-25mm}= v_j \: p(H_i = 1 | \mathbf{v})$

— peschn
source

7

在深度学习站点上有一个不错的RBM教程。
这篇博客文章（“受限玻尔兹曼机器简介”）用更简单的语言编写，并且很好地解释了RBMS的基础知识：
另外，也许最好的参考是Geoff Hinton的Coursea 神经网络课程：

我不确定在课程结束后是否可以访问课程和视频。

— sjm.majewski
source

2

仍然有人报名参加Coursera课程并在论坛上发帖。您仍然可以查看所有讲座，并访问所有测验和编程作业（在测验中）。该信息可能要等到再次提供课程后才能进行。我建议注册该课程只是为了查看或下载材料。

— Douglas Zare 2013年

1

左侧橙色框为您提供了在所有隐藏配置下的能量梯度的期望值，前提是将某些可见矢量固定在可见单位上（对数据的期望，因为它使用了训练集中的样本）。该术语本身是（1）给定某个向量v固定在可见单位上时，看到特定隐藏单位i的概率与（2）特定可见单位j的状态的乘积。

右边的橙色框与左边的橙色框相同，不同之处在于，您对每种可能的可见配置都在左边的橙色框中进行操作，而不是只限于可见单位上的橙色框（对模型的期望，因为没有东西被夹紧在可见单位上）。

— 阿瓦隆
source

1

到目前为止，Hugo Larochelle的机器学习课程（视频）的第5章是最好的介绍。

损失函数的导数不是在这些讲座中得出的，但是做到这一点并不难（我可以在需要时发布对计算的扫描，但这并不难）。我仍在寻找涵盖该主题的优质教科书，但主要是只有文章。Bengio的《深度学习书》第20章中的文章有很好的概述。

— jakab922
source