使用信息几何来定义距离和体积……有用吗？

13

我遇到了大量文献，他们主张将Fisher信息量度作为概率分布空间中的自然局部量度，然后对其进行积分以定义距离和体积。

但是这些“综合”数量实际上对任何事情都有用吗？我没有找到任何理论依据，也没有实际应用。一个是Guy Lebanon的作品，他使用“费舍尔的距离”对文档进行分类，另一个是罗德里格斯的“ 模型选择 ” ABC…其中“费舍尔的体积”用于模型选择。显然，使用“信息量”相对于AIC和BIC进行模型选择具有“数量级”的改进，但是我没有看到有关该工作的任何后续报道。

理论上的证明可能是拥有一个泛化边界，该泛化边界使用距离或体积的这种度量，并且比从MDL或渐近参数得出的边界更好，或者有一种依赖于这些数量之一的方法在某些合理的实际情况下可证明是更好的任何这种结果？

model-selection information-geometry

— 雅罗斯拉夫·布拉托夫（Yaroslav Bulatov）
source

Fisher的信息给出了参数估计的下限。这是一个自然的度量标准，因为它粗略地说出诸如“在这个方向上，我的问题的难度不会降低”之类的意思。您所说的泛化边界是上限吗？您是否想知道使用Fisher度量的方法的性能（您提到的较大的列表是一个很好的列表）？抱歉，但我没有真正的问题：）您能重新提出这一点吗？

— 罗宾吉拉德

假设Fisher的信息矩阵给出了黎曼度量张量。它使我们可以通过积分找到任何曲线的弧长。然后，将p和q之间的距离定义为连接p和q的所有曲线上的最小弧长。这是我要问的距离度量。音量相同。

— Yaroslav Bulatov 2010年

1

因此，仅举一个例子，罗德里格斯通过使用“信息量”作为模型复杂性的衡量标准得到了显着改善，但令人惊讶的是，我看不到其他人会尝试这样做

— Yaroslav Bulatov 2010年

5

上周在皇家统计协会上有一篇有关Riemann流形上的MCMC技术的阅读文章，主要是使用Fisher信息度量的：http ://www.rss.org.uk/main.asp?page=1836#Oct_13_2010_Meeting

尽管如作者所指出的，结果似乎很有希望，尽管在许多感兴趣的模型（例如混合模型）中，Fisher信息没有分析形式。

— 西蒙·伯恩
source

1

那是“黎曼流形兰格文”论文吗？是否在某个时候集成了Fisher信息？

— Yaroslav Bulatov 2010年

4

最广为人知的论点是，不依赖于坐标变换的费舍尔度量标准可用于表述不知情的先验条件（Jeffreys先验条件）。不知道我买了！

鲜为人知的是，有时这些“积分数量”有时会成为发散，因此，有人可能会认为费舍尔距离产生了一组广义发散（及其性质）。

但是，我仍然没有找到关于渔民信息及其产生的数量的直观描述。请告诉我是否找到一个。

— 卢卡斯
source

关于Fisher信息有很多方面的知识，我不确定是Fisher信息的组成部分。我不熟悉您所说的关于费舍尔信息公司（Fisher Information）变成集成方面的一些已知分歧的说法

— Yaroslav Bulatov

4

之所以没有“后续行动”，是因为很少有人了解罗德里格斯在很多年前所做的工作。这是很重要的内容，我相信将来还会看到更多。

但是，有人会认为Fisher度量只是真实度量的二阶近似值（例如，关于建立熵先验的Neumann论文），实际上是由Kullback-Liebler距离（或其推广）定义的，从而导致Zellner提出了MDI先验。

— 麦可
source