将神经网络数学建模为图形模型

12

我正在努力在神经网络和图形模型之间建立数学联系。

在图形模型中，这个想法很简单：概率分布根据图中的派系分解，势通常为指数族。

神经网络是否有等效的推理？能否用受限的玻尔兹曼机或CNN表示单位（变量）上单位（变量）随其能量或单位之间能量乘积的概率分布？

另外，概率分布是否由指数族的RBM或深度信仰网络（例如带有CNN）建模？

我希望找到一种文本，这些文本以约旦和温赖特（Jordan＆Wainwright）的图形模型，图形族，指数族和变分推论对图形模型所做的相同方式，来形式化这些现代神经网络和统计之间的联系。任何指针都很棒。

— 阿梅里奥·巴斯克斯·雷纳（Amelio Vazquez-Reina）
source

1

IM（仇恨者）O这里的核心问题是神经网络不是真正的网络；它是神经网络。它们实际上具有固定的拓扑，因此很少有机会在其中存储任何信息。

您最近看过这篇文章吗？

— jerad

@jerad谢谢，我还没有看过那个帖子。我的问题不是如何合并这些模型（例如，如Yann所说的"using deep nets as factors in an MRF"），而是更多关于如何将深网看作为一个概率因子图。当Yann LeCun's说时"of course deep Boltzmann Machines are a form of probabilistic factor graph themselves"，我对数学上的联系感兴趣。

— Amelio Vazquez-Reina的

@mbq，我们已经看到了某种形式的隐藏层组件信息存储，例如https://distill.pub/2017/feature-visualization/（神经网络如何建立其对图像的理解），其中复杂的图像具有由隐藏层节点表示的组件对象。权重可以非离散方式“改变”“拓扑”。尽管我还没有看到，但是某些方法可能包括收缩因子以去除边缘并因此更改原始拓扑

— -Vass

6

关于该主题的另一个很好的介绍是多伦多大学的CSC321课程，以及Coursera上的Neuronets -2012-001课程，均由Geoffrey Hinton教授。

从信仰网的视频中：

图形模型

早期的图形模型使用专家来定义图形结构和条件概率。这些图稀疏连接，并且重点在于执行正确的推理，而不是学习（知识来自专家）。

神经网络

对于神经网络，学习是核心。刻板的知识并不酷（好的，也许有点）。学习来自学习培训数据，而不是专家。神经网络的目的不是使稀疏连接的可解释性变得容易。尽管如此，仍然存在信念网络的神经网络版本。

我的理解是，信念网通常联系得太紧密，其派系太大，无法解释。信任网使用S形函数来集成输入，而连续图形模型通常使用高斯函数。乙状结肠使网络更易于训练，但就概率而言更难以解释。我相信两者都属于指数族。

我还不是专家，但是讲义和视频是一个很好的资源。

— 奥斯特罗卡奇
source

1

欢迎来到该网站。我们正在尝试以问题和解答的形式建立永久的高质量统计信息存储库。因此，由于linkrot，我们对仅链接的答案保持警惕。您可以在链接上发布完整的引文和信息摘要，以防万一它消失了？

— gung-恢复莫妮卡

真的很好感谢您添加此信息，并欢迎来到简历。

— gung-恢复莫妮卡

我必须指出，答案前半部分的信息不太准确，我想这是“早期图形模型”的使用所暗示的（应该是“非常早”）。长期以来，图形模型已被用来以与神经网络相同的方式来学习其体系结构的各个方面。但是您以后关于在系数图中用S型曲线代替高斯曲线的建议很有趣！

— GuSuku 2015年

4

Radford Neal在该领域做了很多您可能会感兴趣的工作，包括将贝叶斯图形模型与神经网络等同起来的一些直接工作。（他的论文显然是关于这个特定主题的。）

我不熟悉不够与此工作，提供一个智能的总结，但我想给你的指针的情况下，你发现它有用。

— lmjohns3
source

根据我从Neal，Mackay等人的著作中了解到，他们使用贝叶斯优化，其中要优化的参数是神经权重和偏差，甚至表明神经网络的L2归一化可以看作是高斯先验。重量。该程序已继续进行，包括优化变量中的隐藏层数，每层中的神经元等。

— GuSuku 2015年

但这与OP要求的有所不同，因为设计神经网络的体系结构以进行下一次试运行只是使用贝叶斯模型作为超设计引擎进行实验设计的一种特殊情况。我认为OP要求的是“相同级别”的神经网络和贝叶斯建模之间的映射。

— GuSuku 2015年

4

这可能是一个旧线程，但仍然是一个相关问题。

神经网络（NN）与概率图形模型（PGM）之间的连接最突出的例子是玻尔兹曼机器（及其变型，例如受限BM，深层BM等）与马尔可夫随机场的无向PGM之间的连接。

同样，信念网络（及其变体，如Deep BN等）是贝叶斯图的有向PGM的一种

有关更多信息，请参见：

Yann Lecun，“ 基于能量的学习指南 ”（2006年）
Yoshua Bengio，Ian Goodfellow和Aaron Courville，“深度学习”，第16和20章（正在编写本书，在撰写本文时）

— 古宿
source