受限玻尔兹曼机（RBM）的现代用例？

背景：过去约4年的许多现代研究（后alexnet）似乎已不再使用对神经网络进行生成式预训练来获得最新的分类结果。

例如，此处 mnist的最高结果仅包括前两篇论文中似乎使用生成模型的50篇论文，这两篇论文都是RBM。其他48篇获奖论文涉及不同的判别式前馈体系结构，并且为寻找更好的/新颖的权重初始化和激活函数而不是RBM和许多较旧的神经网络中使用的S型曲线付出了很多努力。

问题：是否有现代的理由使用限制玻尔兹曼机？

如果不是，是否可以对这些前馈体系结构进行实际修改，以使它们的任何层生成？

动机：我问，因为我看到的某些模型可用，通常是RBM上的变体，不一定与这些生成层/模型具有明显相似的区分性，反之亦然。例如：

• mcRBM

• ssRBM

• CRBM（尽管有人可能会说CNN使用的前馈架构是判别式类似架构）

同样，分别从2010年，2011年和2009年起，这些显然也是prelex网络。

这是一个古老的问题，但是由于它本质上是在询问“最佳实践”，而不是在技术上实际可行（即，不需要过多的研究重点），因此当前的最佳实践是：

• RBM目前不常用
• 尽可能使用线性模型（线性回归，逻辑回归）
• 否则，深层前馈网络将具有诸如全连接层，卷积层之类的层，并抛出某种正则化层，例如辍学和最近的批归一化
• 当然，激活层介于两者之间，通常是ReLU，但也使用了tanh和Sigmoid
• 可能还有一些最大池（并非总是如此：平均池和其他池也被使用）

对于生成用法，常用技术包括：

• GAN及其无数的变体，http：//www.cs.toronto.edu/~dtarlow/pos14/talks/goodfellow.pdf
• 自动编码器，但最近它们往往被替换为：
  • 变体自动编码器，VAE，https： //arxiv.org/abs/1312.6114
  • 生成的CNN，wavenet：https：//deepmind.com/blog/wavenet-generative-model-raw-audio/
• RNN，例如seq2seq https://arxiv.org/pdf/1409.3215v3.pdf

我最近在“玻尔兹曼编码对抗机器”上找到了这篇论文，该论文将RBM与CNN集成为生成模型。

作者在某些方面证明它在数学上“更好”，并给出了一些玩具示例，其中BEAM似乎比其他GAN模型更能准确地学习数据分布。

CelebA面孔的“真实世界”基准远没有那么令人印象深刻-尚不清楚BEAM的表现甚至与其他流行GAN一样好。但是，在这种情况下使用RBM确实很有趣。