证明具有固定协方差矩阵的最大熵分布是高斯分布

13

我试图绕过以下证明高斯具有最大熵的证明。

加星标的步骤如何有意义？特定的协方差仅固定第二个时刻。第三，第四，第五时刻等会发生什么？

entropy information-theory maximum-entropy

— 塔拉雷
source

13

加星标的步骤是有效的，因为（a）和具有相同的零和第二矩，并且（b）是项的多项式函数，其项的总度数为或。 $p$ $q$ $\log(p)$ $\mathbf{x}$ $0$ $2$

您只需要了解零均值的多元正态分布的两件事：

是的二次函数，没有线性项。具体来说，存在常数和，其 $\log(p)$ $\mathbf{x}=(x_1,x_2,\ldots,x_n)$ $C$ $p_{ij}$
$\log (p (x)) = C + \sum_{i, j = 1}^{n} p_{i j} x_{i} x_{j} .$ $\log(p(\mathbf{x}))=C + \sum_{i,j=1}^n p_{ij}\, x_i x_j.$
$C$ $p_{ij}$ $\Sigma$
$\Sigma$
$Σ_{一世 Ĵ} = Ë_{p} （ X_{一世} X_{Ĵ} ） = \int p （ X ） X_{一世} X_{Ĵ} d X 。$ $\Sigma_{ij}=E_p(x_i x_j) = \int p(\mathbf{x})\, x_ix_j\, d\mathbf{x}.$

我们可能会使用此信息来计算出一个整体：

\begin{aligned} \int （ q （ X ） - p （ X ） ） 日志 （ p （ X ） ） d X \\ = & \int （ q （ X ） - p （ X ） ） （ C + \sum_{一世 ， Ĵ = 1个}^{ñ} p_{一世 Ĵ} X_{一世} X_{Ĵ} ） d X 。 \end{aligned}

$\eqalign{ & &\int(q(\mathbf{x}) - p(\mathbf{x}))\log(p(\mathbf{x}))d\mathbf{x} \\ &= &\int(q(\mathbf{x}) - p(\mathbf{x}))\left(C + \sum_{i,j=1}^n p_{ij}\, x_i x_j\right)d\mathbf{x}. }$

它分为两个部分的总和：

$\int(q(x) - p(x))C\, d\mathbf{x} = C\left(\int q(\mathbf{x}) d\mathbf{x} - \int p(\mathbf{x}) d\mathbf{x}\right) = C(1 - 1) = 0$ $q$ $p$
$\int(q(\mathbf{x}) - p(\mathbf{x})) \sum_{i,j=1}^n p_{ij}\, x_i x_jd\mathbf{x} = \sum_{i,j=1}^n p_{ij}\int(q(\mathbf{x}) - p(\mathbf{x}))x_i x_jd\mathbf{x} = 0$ $\int q(\mathbf{x}) x_i x_jd\mathbf{x}$ $\int p(\mathbf{x}) x_i x_jd\mathbf{x}$ $\Sigma_{ij}$

$\int(q(\mathbf{x}) - p(\mathbf{x}))\log(p(\mathbf{x}))d\mathbf{x}=0$ $\int q(\mathbf{x})\log(p(\mathbf{x}))d\mathbf{x} = \int p(\mathbf{x})\log(p(\mathbf{x}))d\mathbf{x}.$

— ub
source

1

$q(x)$ $p(x)$ $\sigma_{ij}x_ix_j$ $p(x)$ $p(x)$ $q(x)$

— 托塞尔
source