马尔可夫随机场何时

在他们的教科书，图形模型，指数族和变推理，M.乔丹和M.温赖特讨论之间的联系指数家属和马尔可夫随机场（无向图模型）。

我试图通过以下问题更好地理解它们之间的关系：

所有MRF都是指数家族的成员吗？
指数族的所有成员都可以代表MRF吗？
如果MRF指数族，那么其中一种不包含在另一种类型中的分布的良好示例是什么？ $\neq$

根据我在他们的教科书（第3章）中的理解，乔丹和温赖特提出了下一个论点：

说，我们有如下一些分布AA标随机变量X，并得出独立同分布的观测，我们要找出。 $p$ $n$ $X^1, \ldots X^n$ $p$
我们计算某些函数的经验期望 $\phi_\alpha%$

$\hat{\mu}_\alpha= \frac{1}{n}\sum^n_{i=1}\phi_\alpha(X^i),$ 对于所有 $\alpha \in \mathcal{I}$

其中某个中的每个索引一个函数 $\alpha$ $\mathcal{I}$ $\phi_\alpha: \mathcal{X} \rightarrow R$
然后，如果我们强制以下两组数量是一致的，即匹配（以标识）： $p$
- 分布的充分统计的期望值 $E_p[(\phi_\alpha(X)]=\int_\mathcal{X}\phi_\alpha(x)p(x)\nu(dx)$ $\phi$ $p$
- 经验分布下的期望

在存在与观察值一致的许多分布的意义上，我们得到了一个不确定的问题。因此，我们需要一个在它们之间进行选择的原则（以标识）。 $p$ $p$

如果我们使用最大熵的原理消除这种不确定性，我们可以得到一个： $p$

$\DeclareMathOperator*{\argmax}{arg\,max} p^* = \argmax_{p\in{\mathcal{P}}} \,H(p)$ 取决于所有 $E_p[(\phi_\alpha(X)] = \hat{\mu}_\alpha$ $\alpha \in \mathcal{I}$

其中的形式为 exp其中表示指数族形式的分布的参数化。 $p^*$ $p_\theta(x) \propto$ ${\sum_{\alpha \in \mathcal{I}}\theta_\alpha \phi_\alpha(x)},$ $\theta \in R^d$

换句话说，如果我们

使分布的期望与经验分布下的期望一致
使用最大熵原理摆脱不确定性

$\rightarrow$ 我们最终得到指数族的分布。

但是，这看起来更像是引入指数族的论据，并且（据我所知）它并未描述MRF与exp之间的关系。家庭。我有什么想念的吗？

mathematical-statistics graphical-model

— 阿梅里奥·巴斯克斯·雷纳（Amelio Vazquez-Reina）
source

我认为那里有些混乱：[MRFs]（en.wikipedia.org/wiki/Markov_random_field）并不是根据最大熵原理来定义的，而是靠它们本身的权利，因为密度是根据密度的因式分解的。图形。由于MRF对数线性表示，因此它们是指数族。

— 西安

谢谢@西安。我一直认为定义MRF的部分是“ MRF由密度根据图的派系分解的事实来定义 ”。但是，为什么该属性使所有MRF成为指数族的一部分呢？哪些类型（MRF或exp。系列）不属于另一种类型的示例（如果有）？

— Amelio Vazquez-Reina '04

我不知道有多少会加重你的，但有一两件事，可能使其更清晰的阅读吉布斯分布和的MRF的原配方本文由格曼和杰曼。基本上，整个想法是用Boltzman分布（减去某物）建模某物，然后询问该物如何分解。由于这种描述方式，它们与指数族的联系可能更明显。

— 2012年

指数族由以下事实定义：对数密度本质上是观测值的矢量函数和参数的矢量函数的标量积。此定义不涉及图形结构。MRF还包含一个用于定义集团，社区＆tc的图形。因此，MRF是具有增加的结构（图）的指数族。

— 西安

我认为与评论/答案矛盾的困惑归结为是否允许您引入相对于它们的参数不是对数线性的因子。

— Yaroslav Bulatov

您是完全正确的-您提出的论点将指数族与最大熵原理联系起来，但与MRF无关。

要解决您的三个初始问题：

指数族的所有成员都可以代表MRF吗？

P （ X = X ） = \prod_{C \in C 升 （ G ）} ϕ_{C} （ X_{C} = X_{C} ）

$P(X=x) = \prod_{C \in cl(G)} \phi_C(X_C = x_C)$

c l (G)

$cl(G)$

G

$G$ 。从这个定义中，您可以看到完全连接的图虽然完全没有信息意义，但与任何分布都是一致的。

所有MRF都是指数家族的成员吗？

$are$

$\neq$

混合分布是非指数族分布的常见示例。考虑线性高斯状态空间模型（类似于隐藏的马尔可夫模型，但具有连续的隐藏状态以及高斯过渡和发射分布）。如果用混合高斯替换过渡内核，则所得的分布将不再位于指数族中（但仍保留了实用图形模型的丰富的条件独立性结构特征）。

[1] http://en.wikipedia.org/wiki/Markov_random_field

— 德鲁
source