Fisher度量与相对熵之间的联系

20

有人能以纯粹的数学严格方式证明 Fisher信息量度与相对熵（或KL散度）之间的以下联系吗？

D (p (\cdot, a + d a) ∥ p (\cdot, a)) = \frac{1}{2} g_{i, j} d a^{i} d a^{j} + (O (‖ d a ‖^{3})

$D( p(\cdot , a+da) \parallel p(\cdot,a) ) =\frac{1}{2} g_{i,j} \, da^i \, da^j + (O( \|da\|^3)$ 其中

a = (a^{1}, \dots, a^{n}), d a = (d a^{1}, \dots, d a^{n})

$a=(a^1,\dots, a^n), da=(da^1,\dots,da^n)$ ，

g_{i, j} = \int \partial_{i} (\log p (x; a)) \partial_{j} (\log p (x; a)) p (x; a) d x

$g_{i,j}=\int \partial_i (\log p(x;a)) \partial_j(\log p(x;a))~ p(x;a)~dx$ 和

g_{i, j} d a^{i} d a^{j} := \sum_{i, j} g_{i, j} d a^{i} d a^{j}

$g_{i,j} \, da^i \, da^j := \sum_{i,j}g_{i,j} \, da^i \, da^j$ 是爱因斯坦求和约定。

我在John Baez的漂亮博客中找到了上述内容，Vasileios Anagnostopoulos在评论中谈到了这一点。

mathematical-statistics kullback-leibler fisher-information

— 库马拉
source

1

亲爱的库玛拉：澄清一下，这将有助于更好地解释您的表示法，尤其是

的含义

g_{i, j}

$g_{i,j}$ 。另外，我认为您的表达式在显示方程式右侧的第一项前面缺少

的常数

1 / 2

$1/2$ 。注意，Kullback自己称为散度（使用符号

J (\cdot, \cdot)

$J(\cdot,\cdot)$ ）是所谓的KL散度的对称形式，即

J (p, q) = D (p ‖ q) + D (q ‖ p)

$J(p,q) = D(p \| q) + D(q \| p)$ 。在Kullback的著作中

KL散度记为

I (\cdot, \cdot)

$I(\cdot,\cdot)$ 。这也解释了

的因数

1 / 2

$1/2$ 。干杯。

— 红衣主教

19

1946年，地球物理学家和贝叶斯统计学家Harold Jeffreys介绍了我们今天称为Kullback-Leibler散度的方法，发现对于两个“无限接近”的分布（希望数学SE的人看不到这一点；-)，我们可以编写它们的Kullback-Leibler散度为二次形式，其系数由Fisher信息矩阵的元素给定。他将这种二次形式解释为黎曼流形长度的元素，费舍尔信息起着黎曼度量的作用。通过统计模型的这种几何化，他推导出了Jeffreys的先验信息，它是由黎曼度量自然诱发的度量，尽管一般而言，它不是有限度量，但该度量可以解释为流形上的内在均匀分布。

要编写严格的证明，您需要找出所有正则条件，并注意泰勒展开式中误差项的顺序。这是论点的简要概述。

两个密度和之间对称的Kullback-Leibler散度定义为 $f$ $g$

D [f, g] = \int (f (x) - g (x)) \log (\frac{f (x)}{g (x)}) d x .

$D[f,g] = \int (f(x) - g(x)) \log\left(\frac{f(x)}{g(x)} \right) dx \, .$

如果我们有一组由参数化的密度，则 $\theta=(\theta_1,\dots,\theta_k)$

D [p (\cdot ∣ θ), p (\cdot ∣ θ + Δ θ)] = \int (p (x, ∣ θ) - p (x ∣ θ + Δ θ)) \log (\frac{p (x ∣ θ)}{p (x ∣ θ + Δ θ)}) d x,

$D[p(\,\cdot\,\mid\theta), p(\,\cdot\,\mid\theta + \Delta\theta)] = \int ( p(x,\mid\theta) - p(x\mid\theta + \Delta\theta)) \log\left( \frac{p(x\mid\theta)}{p(x\mid\theta + \Delta\theta)}\right) \,dx \, ,$ 其中。引入符号一些简单的代数给出使用泰勒展开式的自然对数，我们有

Δ θ = (Δ θ_{1}, \dots, Δ θ_{k})

$\Delta\theta=(\Delta\theta_1,\dots,\Delta\theta_k)$

Δ p (x ∣ θ) = p (x ∣ θ) - p (x ∣ θ + Δ θ),

$\Delta p(x\mid\theta) = p(x\mid\theta) - p(x\mid\theta + \Delta\theta) \, ,$

D [p (\cdot ∣ θ), p (\cdot ∣ θ + Δ θ)] = \int \frac{Δ p (x ∣ θ)}{p (x ∣ θ)} \log (1 + \frac{Δ p (x ∣ θ)}{p (x ∣ θ)}) p (x ∣ θ) d x .

$D[p(\;\cdot\,\mid\theta), p(\;\cdot\,\mid\theta + \Delta\theta)] = \int\frac{\Delta p(x\mid\theta)}{p(x\mid\theta)} \log\left(1+\frac{\Delta p(x\mid\theta)}{p(x\mid\theta)}\right)p(x\mid\theta)\,dx \, .$

\log (1 + \frac{Δ p (x ∣ θ)}{p (x ∣ θ)}) \approx \frac{Δ p (x ∣ θ)}{p (x ∣ θ)},

$\log\left(1+\frac{\Delta p(x\mid\theta)}{p(x\mid\theta)}\right) \approx \frac{\Delta p(x\mid\theta)}{p(x\mid\theta)} \, ,$ 因此但是因此其中

D [p (\cdot ∣ θ), p (\cdot ∣ θ + Δ θ)] \approx \int {(\frac{Δ p (x ∣ θ)}{p (x ∣ θ)})}^{2} p (x ∣ θ) d x .

$D[p(\;\cdot\,\mid\theta), p(\;\cdot\,\mid\theta + \Delta\theta)] \approx \int\left(\frac{\Delta p(x\mid\theta)}{p(x\mid\theta)}\right)^2p(x\mid\theta)\,dx \, .$

\frac{Δ p (x ∣ θ)}{p (x ∣ θ)} \approx \frac{1}{p (x ∣ θ)} \sum_{i = 1}^{k} \frac{\partial p (x ∣ θ)}{\partial θ_{i}} Δ θ_{i} = \sum_{i = 1}^{k} \frac{\partial \log p (x ∣ θ)}{\partial θ_{i}} Δ θ_{i} .

$\frac{\Delta p(x\mid\theta)}{p(x\mid\theta)} \approx \frac{1}{p(x\mid\theta)} \sum_{i=1}^k \frac{\partial p(x\mid\theta)}{\partial\theta_i} \, \Delta\theta_i = \sum_{i=1}^k \frac{\partial \log p(x\mid\theta)}{\partial\theta_i} \, \Delta\theta_i \, .$

D [p (\cdot ∣ θ), p (\cdot ∣ θ + Δ θ)] \approx \sum_{i, j = 1}^{k} g_{i j} Δ θ_{i} Δ θ_{j},

$D[p(\,\cdot\,\mid\theta), p(\,\cdot\,\mid\theta + \Delta\theta)] \approx \sum_{i,j=1}^k g_{ij} \,\Delta\theta_i \, \Delta\theta_j \, ,$

g_{i j} = \int \frac{\partial \log p (x ∣ θ)}{\partial θ_{i}} \frac{\partial \log p (x ∣ θ)}{\partial θ_{j}} p (x ∣ θ) d x .

$g_{ij} = \int \frac{\partial \log p(x\mid\theta)}{\partial\theta_i} \frac{\partial \log p(x\mid\theta)}{\partial\theta_j} p(x\mid\theta) \,dx \, .$

这是原始文件：

杰弗里斯（1946）。估计问题中先验概率的不变形式。程序皇家社会。伦敦，A系列，186，453–461。

— 禅
source

1

非常感谢您的出色写作。这将是很好，如果你可以帮助这个为好。

— 库马拉

是的，你说得对。我必须走出这个“抽象陷阱”。

— 库马拉

@zen您在积分下使用对数的泰勒展开式，为什么这样有效？

— Sus20200 '16

1

从对称的KL散度开始，而不是标准KL散度，这似乎至关重要。维基百科文章没有提及对称版本，因此可能不正确。en.wikipedia.org/wiki/Kullback%E2%80%93Leibler_divergence

— Surgical Commander

11

常规（非对称）KL散度的证明

Zen的答案使用对称的KL散度，但结果也适用于通常的形式，因为它对于无限相似的紧密分布变得对称。

这是由标量参数化的离散分布的证明（因为我很懒），但是可以很容易地将其重写为连续分布或参数向量： $\theta$

D (p_{θ}, p_{θ + d θ}) = \sum p_{θ} \log p_{θ} - \sum p_{θ} \log p_{θ + d θ} .

$\begin{equation} D(p_\theta,p_{\theta+d\theta})=\sum p_\theta \log p_\theta - \sum p_\theta \log p_{\theta+d\theta}\ . \end{equation}$ 泰勒展开最后一项：假设一些规律性，我使用了两个结果：

= \underset{= 0}{\underset{⏟}{\sum p_{θ} \log p_{θ} - \sum p_{θ} \log p_{θ}}} - d θ \underset{= 0 †}{\underset{⏟}{\sum p_{θ} \frac{d}{d θ} \log p_{θ}}} - \frac{1}{2} {d θ}^{2} \underset{= - \sum p_{θ} (\frac{d}{d θ} \log p_{θ})^{2} ‡}{\underset{⏟}{\sum p_{θ} \frac{d^{2}}{d θ^{2}} \log p_{θ}}} + O ({d θ}^{3}) = \frac{1}{2} {d θ}^{2} \underset{Fisher information}{\underset{⏟}{\sum p_{θ} (\frac{d}{d θ} \log p_{θ})^{2}}} + O ({d θ}^{3}) .

$\begin{equation} = \underbrace{\sum p_\theta \log p_\theta - \sum p_\theta \log p_\theta}_{=\ 0} - d\theta \underbrace{\sum p_\theta \frac{d}{d\theta}\log p_\theta}_{=\ 0 \ \dagger} - \frac{1}{2}{d\theta}^2 \underbrace{\sum p_\theta \frac{d^2}{d\theta^2}\log p_\theta}_{= -\sum p_\theta (\frac{d}{d\theta}\log p_\theta)^2 \ \ddagger} + \mathcal{O}({d\theta}^3) \\ = \frac{1}{2}{d\theta}^2 \underbrace{\sum p_\theta (\frac{d}{d\theta}\log p_\theta)^2}_{\textrm{Fisher information}} + \mathcal{O}({d\theta}^3). \end{equation}$

† : \sum p_{θ} \frac{d}{d θ} \log p_{θ} = \sum \frac{d}{d θ} p_{θ} = \frac{d}{d θ} \sum p_{θ} = 0,

$\begin{equation} \dagger: \sum p_\theta \frac{d}{d\theta}\log p_\theta = \sum \frac{d}{d\theta} p_\theta = \frac{d}{d\theta} \sum p_\theta =0, \end{equation}$

\begin{aligned} ‡ : \sum p_{θ} \frac{d^{2}}{d θ^{2}} \log p_{θ} & = \sum p_{θ} \frac{d}{d θ} (\frac{1}{p_{θ}} \frac{d p_{θ}}{d θ}) \\ = \sum p_{θ} [\frac{1}{p_{θ}} \frac{d^{2} p_{θ}}{d θ} - (\frac{1}{p_{θ}} \frac{d p_{θ}}{d θ})^{2}] \\ = \sum \frac{d^{2} p_{θ}}{d θ^{2}} - \sum p_{θ} (\frac{1}{p_{θ}} \frac{d p_{θ}}{d θ})^{2} \\ = \underset{= 0}{\underset{⏟}{\frac{d^{2}}{d θ^{2}} \sum p_{θ}}} - \sum p_{θ} (\frac{d}{d θ} \log p_{θ})^{2} . \end{aligned}

$\begin{align} \ddagger: \sum p_\theta \frac{d^2}{d\theta^2}\log p_\theta &= \sum p_\theta \frac{d}{d\theta}(\frac{1}{p_\theta}\frac{dp_\theta}{d\theta}) \\ &= \sum p_\theta \left[\frac{1}{p_\theta}\frac{d^2p_\theta}{d\theta}-(\frac{1}{p_\theta}\frac{dp_\theta}{d\theta})^2\right] \\ &= \sum \frac{d^2p_\theta}{d\theta^2} - \sum p_\theta (\frac{1}{p_\theta} \frac{dp_\theta}{d\theta})^2 \\ &= \underbrace{\frac{d^2}{d\theta^2} \sum p_\theta}_{=\ 0} - \sum {p_\theta} (\frac{d}{d\theta}\log p_\theta)^2. \end{align}$

— 阿布兰尼尔·达斯（Abhranil Das）
source

4

您可以在以下论文的方程式（3）中找到类似的关系（对于一维参数）

D. Guo（2009），相对熵和得分函数：通过任意加性扰动产生的新的信息-估计关系，Proc.Natl.Acad.Sci.USA，90：4877-77。IEEE信息理论国际研讨会，814–818。（稳定链接）。

作者指的是

S. Kullback，信息理论与统计学。纽约：多佛，1968年。

为了证明这一结果。

— 普里莫·卡纳拉
source

1

该论文的等式（3）的多元版本已在第27-28页引用的Kullback文本中得到证明。OP的问题似乎丢失了常数。:)

1 / 2

$1/2$

— 红衣主教