图形模型中的图论在哪里？

29

图形模型的介绍将它们描述为“ ...图论与概率论之间的结合”。

我得到了概率论的一部分，但是我对理解图论到底适合什么地方有困难。从图论中得到什么见解帮助加深了我们对不确定性下的概率分布和决策的理解？

除了在PGM中图形理论术语的明显使用之外，我正在寻找具体的示例，例如将PGM分类为“树”或“二分”或“无向”等。

graphical-model graph-theory distributions

33

概率图形模型中很少有真正的数学图论，其中真正的数学图论指的是关于团簇，顶点阶，最大流最小割定理等的证明。即使我不使用欧拉定理和握手引理等最基本的东西，尽管我想可能会调用它们来检查用于更新概率估计的计算机代码的某些属性。此外，概率图形模型很少使用多类图的子集，例如多图。关于图流的定理未在概率图形模型中使用。

如果学生A是概率专家但对图论一无所知，而学生B是图论专家但对概率一无所知，那么A肯定会比B更快地学习和理解概率图形模型。

— 戴维·斯托克
source

8

从严格意义上讲，图论似乎与PGM之间存在松散的联系。但是，图算法很方便。PGM从消息传递推理开始，这是图形上消息传递算法的一般类的子集（可能就是其中的“图形”一词的原因）。图割算法被广泛用于计算机视觉中的马尔可夫随机场推理；它们基于类似于Ford–Fulkerson定理的结果（最大流量等于最小割限）；最受欢迎的算法可能是Boykov–Kolmogorov和IBFS。

参考文献。[Murphy，2012年，第22.6.3节]涵盖了用于MAP推理的图割用法。另见[Kolmogorom和Zabih，2004年；Boykov等人，PAMI，2001年），它涵盖了优化而不是建模。

— 罗曼·沙波娃洛夫
source

有趣的是，在MRF中使用了图割算法。您能指出参考吗？基于上述大卫·斯托克的答案，似乎这些算法的出现是由于图论是一种有用的建模工具，而不是图论和PGM之间的一些基本联系。

— Vimal 2015年

我已经按照您的要求添加了参考。截至您的上一个声明，我们如何区分原因，即说是否是根本原因？

— 罗曼·沙波瓦洛夫

@overrider您能否提供完整的参考资料，以便可以轻松搜索论文..？谷歌搜索可能会导致人们引用这些参考，但最终可能会浪费时间以获取无关紧要的结果。因此，添加标题，出版商，期刊名称，链接等都是不错的选择。

— 蒂姆

2

图形切割算法在计算机视觉中很有用，但在概率图形模型中则无用。立体视觉中的一个问题是对应问题：找到图像A中的哪些点对应于图像B中的点。可以建立一个图，其中顶点对应于两个图像中的特征点，而一个图代表所有可能的对应。然后，将找到“适当的”对应关系的问题转换为图割问题。尽管我认为可以尝试将计算机视觉问题映射到图形模型中，但在通用图形模型中没有这种用途。

— 大卫·斯托克

2

@ DavidG.Stork还有其他计算机视觉问题，它们以类似的方式应用图形切割：图像分割，制作拼贴画等，因此该方法足够通用。这些问题可以自然地用无向的图形模型表示（尽管论文并不总是这样做的）。这样就可以使用不同的MRF推理算法以及模型拟合。另一方面，图形切割可以优化MRF的很大一部分，因此可以应用到视觉之外，例如用于社交网络分析（尽管我现在不记得特定的论文了）。

— Roman Shapovalov

4

已经进行了一些工作来研究低密度奇偶校验码的易解码性（当您将其视为概率图并应用Loopy Belief传播时会得到极好的结果）与奇偶校验矩阵形成的图的周长之间的联系。。这种与周长的联系可以追溯到LDPC发明之初[1]，但是在Mackay等人[4]分别重新发现LDPC之后，在过去的十年左右[2] [3]中还有进一步的工作。。

我经常看到Pearl关于信念传播收敛时间的评论，这取决于所引用图形的直径。但是我不知道有什么工作可以研究非树形图中的图形直径及其产生的影响。

RG加拉格尔。低密度奇偶校验码。麻省理工学院出版社，1963年
IE Bocharova，F。Hug，R。Johannesson，BD Kudryashov和RV Satyukov。基于超图的大周长的新低密度奇偶校验码。信息理论论文集（ISIT），2010 IEEE国际研讨会，第819 –823页，2010年。
SC Tatikonda。和积算法的收敛性。在信息理论研讨会上，2003年。会议记录。2003 IEEE，第222 – 225页，2003年
David JC MacKay和RM Neal。低密度奇偶校验码的性能接近香农极限。电子信函，33（6）：457-458，1997年。

— 拍
source

3

图算法在概率图形模型中的一种成功应用是Chow-Liu算法。它基于最大生成树（MST）算法解决了寻找最佳（树）图结构的问题。

树图形模型上的联合概率可以写为：我们可以写出归一化的对数似然性，如下所示：其中，是给定经验最大似然（ML）的和之间的互信息计算节点处于状态的次数的分布。由于第一项独立于拓扑

p （ X | Ť ） = \prod_{Ť \in V} p （ X_{Ť} ） \prod_{（ s ， Ť ） \in Ë} \frac{p （ X_{s} ， X_{Ť} ）}{p （ X_{s} ） p （ X_{Ť} ）}

$\begin{equation} p(x|T) = \prod_{t\in V} p(x_t) \prod_{(s,t) \in E} \frac{p(x_s, x_t)}{p(x_s)p(x_t)} \end{equation}$

\frac{1个}{ñ} 日志 P （ d | θ ， Ť ） = \sum_{Ť \in V} \sum_{ķ} p_{中号 大号} （ X_{Ť} = ķ ） 日志 p_{中号 大号} （ X_{Ť} = ķ ） + \sum_{（ s ， Ť ） \in Ë} 一世 （ X_{s}; X_{Ť} | θ_{s Ť} ）

$\begin{equation} \frac{1}{N}\log P(D|\theta, T) = \sum_{t\in V}\sum_k p_{ML}(x_t=k) \log p_{ML}(x_t=k) + \sum_{(s,t)\in E} I(x_s; x_t|\theta_{st}) \end{equation}$

I (x_{s}; x_{t} | θ_{s t})

$I(x_s;x_t|\theta_{st})$

x_{s}

$x_s$

x_{t}

$x_t$

x

$x$

k

$k$

T

$T$ ，我们可以忽略它，而专注于最大化第二项。

通过计算最大权重生成树使对数似然最大化，其中边缘权重是成对的互信息项。可以使用Prim算法和Kruskal算法找到最大权重生成树。 $I(x_s;x_t|\theta_{st})$

— 瓦迪姆·斯莫里亚科夫
source

嗨，瓦迪姆感谢您的答复。作为图论术语的表述是有意义的。但是也可以将其视为优化问题。问题的精神是要寻求更根本的联系。例如，可以将排序问题表示为图上的拓扑排序，其中的节点是数字，而箭头表示<=关系。但这并没有在排序和图形算法之间建立起根本联系，对吗？

— Vimal