为什么杰弗里斯先验被认为是非情报性的？

事先考虑杰弗瑞斯其中，其中是Fisher信息。 $p(\theta) \propto \sqrt{|i(\theta)|}$ $i$

我一直认为这个先验是无意义的先验，但是我从来没有见过为什么它没有信息的争论。毕竟，这不是一个恒定的先验，因此必须有其他一些论点。

我知道这不依赖于重新参数化，这将我带入下一个问题。Fisher信息的决定因素是否不依赖于重新参数化？因为Fisher信息绝对取决于问题的参数化。

谢谢。

bayesian prior

— 贝叶斯
source

您阅读过维基百科的文章吗？ en.wikipedia.org/wiki/Jeffreys_prior

— whuber

是的，我看过那里。也许我缺少了一些东西，但是我不认为Wikipedia文章对我的问题给出了足够的答案。

— 贝叶斯

另请参阅stats.stackexchange.com/questions/38962/…–

— 史蒂芬·洛朗

注意，Jeffreys先验对于等效模型不是不变的。例如，当使用二项式或负二项式采样分布时，关于参数

推论是不同的。尽管在两个模型中似然函数都是成比例的且参数具有相同的含义，但这是不可行的。

p

$p$

— 概率

Answers:

由于参数化不变性，它被认为是非信息性的。您似乎有一个印象，即统一的（恒定的）先验是非信息性的。有时是，有时不是。

杰弗里斯（Jeffreys）在变换下的先验发生的事情是，变换后的雅可比矩阵被吸收到原始Fisher信息中，最终在新的参数设置下为您提供了Fisher信息。没有魔术（至少在机械方面），只有一点微积分和线性代数。

— JMS
source

我不同意这个答案。使用主观先验也是参数化不变过程！

— 斯蒂芬·洛朗

对于一维参数空间（和“常规”模型），Jeffreys先验与Bernardo参考先验重合。粗略地说，这是先验的，先验和后验之间的Kullback-Leibler差异最大。此数量表示数据带来的信息量。这就是为什么先验信息不具信息性的原因：这是数据带来最大信息量的先验信息。

顺便说一句，我不知道杰弗里斯是否知道他先前的特征？

— 斯特凡·洛朗（StéphaneLaurent）
source

“大致来说，这是先验的，先验和后验之间的Kullback-Leibler差异最大。” 有趣的是，我不知道。

— Cam.Davidson.Pilon，2012年

（+1）个好答案。这将是很好看到您的一些点一些参考资料（如 1，2）。

@Procrastinator我目前正在写一篇有关非信息性先验的新文章；）请稍等几天。

— 斯蒂芬·洛朗

我会说这不是绝对没有信息，但信息最少。它对（您知道的）较弱的先验知识进行编码，因为您知道自己的先验知识状态不依赖于其参数化（例如度量单位）。如果您的先验知识状态恰好为零，那么您将不知道您的先验知识对于此类变换是不变的。

— 迪克兰有袋动物
source

我很困惑。在哪种情况下，您会知道您之前应该依赖于模型参数化？

— 约翰·劳伦斯·阿斯普登

如果我们要使用GLM预测寿命是体重的函数，我们知道无论以kg还是lb称量受试者的结论均不受影响。如果您在权重之前使用简单的均匀制服，则根据度量单位可能会得到不同的结果。

— 迪克兰有袋博物馆（Dikran Marsupial）

在这种情况下，您知道它不应该受到影响。在什么情况下应该呢？

— 约翰·劳伦斯·阿斯普登

我想你错过了我的意思。说我们对属性一无所知，甚至不知道它们具有不变的度量单位。在这种情况下，您的先验信息比Jeffrey的先验信息编码少，因此Jeffrey的先验信息并非完全没有信息性。分析可能不会或不一定会进行某种转换，但那不是重点。

— 迪克兰有袋博物馆，2013年

注意，根据BUGS书（p83），杰弗里本人称这种变换不变先验为“最小信息量”，这意味着他认为他编码了有关该问题的某些信息。

— 迪克兰有袋博物馆，2013年