无知先验理论的历史

我正在为贝叶斯统计课程（经济学硕士）写一则关于非先验先验的简短理论文章，并且试图理解发展该理论的步骤。

到目前为止，我的时间轴分为三个主要步骤：拉普拉斯的冷漠原则（1812），非不变先验（Jeffreys（1946）），伯纳多参考先验（1979）。

从我的文献综述中，我了解到，冷漠原理（Laplace）是用来表示缺乏先验信息的第一个工具，但是由于缺少不变性的要求，导致这种放弃一直到40年代，杰弗里斯（Jeffreys）提出了他的方法，该方法具有不变性的期望性质。由于在70年代不小心使用了不当先验而导致的边缘化悖论的出现促使贝尔纳多（Bernardo）阐述了他的先验先验理论以解决这个问题。

阅读文献时，每个作者都引用了不同的贡献：Jaynes的最大熵，Box和Tiao的数据翻译的可能性，Zellner，...

您认为我缺少哪些关键步骤？

编辑：如果有人需要，我添加我的（主要）引用：

1）通过正式规则选择先验者，卡斯，瓦瑟曼

2）无信息先验的目录，Yang，Berger

3）非信息贝叶斯先验解释以及构造和应用问题

您似乎缺少的是早期的历史。您可以查看Fienberg（2006）的论文，贝叶斯推断何时成为“贝叶斯”？。首先，他注意到Thomas Bayes是第一个建议使用制服的人：

在当前的统计语言中，Bayes的论文在二项式参数上引入了统一的先验分布，类似于“台球表”，并利用二项式随机变量的边际分布形式进行了推理，而不是根据正如许多其他人所声称的那样，“理由不足”。$\theta$

下一个讨论该问题的人是Pierre Simon Laplace：

与贝叶斯相比，拉普拉斯还清楚地表达了他关于选择均匀先验分布的论点，认为参数的后验分布应与我们现在所说的数据的可能性成正比，即$\theta$

$$f(\theta\mid x_1,x_2,\dots,x_n) \propto f(x_1,x_2,\dots,x_n\mid\theta)$$

现在我们了解到，这意味着的先验分布 是均匀的，尽管通常，当然，先验分布可能不存在。$\theta$

此外，正如David和Edwards（2001）在他们的书中指出的那样，卡尔·弗里德里希·高斯（Carl Friedrich Gauss）也提到了使用非信息先验 统计史注释注释》：

高斯使用特设贝叶斯型参数来证明的后验密度$h$与似然性成正比（在现代术语中）：

$$f(h|x) \propto f(x|h)$$

$h$$[0, \infty)$。高斯没有提到贝叶斯和拉普拉斯，尽管后者自拉普拉斯（1774）以来就推广了这种方法。

正如Fienberg（2006）所注意到的那样，“逆概率”（及其后，使用统一先验）在19世纪初很流行

[...]因此，回想起来，将逆概率视为世纪之交的英国杰出统计学家（例如Edgeworth和Pearson）的选择方法并不奇怪。例如，埃奇沃思（49）给出了我们现在称为学生的的最早派生之一。$t$$\mu$$\mu$$h =\sigma^{-1}$

Stigler（1986）在他的书《统计的历史：1900年之前不确定性的度量》中也回顾了贝叶斯方法的早期历史。

在您的简短评论中，您似乎也没有提到Ronald Aylmer Fisher（再次引用Fienberg，2006年引用）：

费舍尔从逆方法转向他自己的推理方法，即所谓的“可能性”，他声称这一概念与概率不同。但是费舍尔在这方面的进展缓慢。斯蒂格勒（Stigler，164）指出，在1916年未出版的手稿中，费舍尔没有先验地平分似然性和逆概率，即使后来他做出区分时他声称此时已经理解了。

Jaynes（1986）提供了自己的简短评论文章贝叶斯方法：一般背景。您可以检查的入门教程，但并不专注于没有先验知识的先验知识。此外，正如AdamO所指出的，您一定要阅读Stigler（2007）《史诗最大可能性》。

还值得一提的是，不存在“ 无信息的先验”之类的东西，因此许多作者更喜欢谈论“模糊的先验”或“每周提供信息的先验”。

Kass和Wasserman（1996）在“通过形式规则选择先验分布”中提供了理论综述，他们对选择先验进行了更详细的介绍，并进一步讨论了非信息先验的用法。

关于非信息先验缺陷（非信息先验）的一些评论可能是一个好主意，因为对此类缺陷的调查有助于历史上非信息先验概念的发展。

您可能需要添加一些有关采用非信息性先验的缺点/缺点的评论。在许多批评中，我指出了两个。

（1）一般而言，采用非信息先验存在一致性问题，特别是当模型分布具有多模式行为时。

这个问题不是非信息先验问题所独有，而是由其他许多贝叶斯过程所共有，如下文及其讨论所述。

Diaconis，Persi和David Freedman。“关于贝叶斯估计的一致性。”统计年鉴（1986）：1-26。

如今，非信息性先验不再是研究重点。在非参数设置中，似乎对更灵活的优先级选择感兴趣。例如非参数贝叶斯程序中的高斯过程或像狄利克雷特先验的混合这样的灵活模型，如

Charles E. Antoniak，“ Dirichlet过程的混合及其在贝叶斯非参数问题中的应用”。统计年鉴（1974）：1152-1174。

但是，这样的先验又有其自身的一致性问题。

（2）大多数所谓的“非信息先验”没有明确定义。

这可能是与非信息先验开发过程中最明显的问题。

一个例子是，非信息先验的极限定义为适当先验序列的极限将导致边缘化悖论。如您所述，Bernardo的参考先验还存在一个问题，即Berger从未证明其正式定义独立于其构造/分区。请参阅中的讨论

Berger，James O.，JoséM. Bernardo和Sun Dongchu。“参考先验的正式定义。” 统计年鉴（2009）：905-938。

关于杰弗里斯先验的一个最佳定义是明确定义的，它被选择为先验使得它在配备Fisher信息度量的黎曼流形上在一定的平行平移下是不变的，但即使这样也不能解决第一个问题。

另外，您可能需要阅读我对边缘化悖论的解释。

我会在评论中发布，但是我想我还没有声誉。唯一遗漏的东西是未提供信息的先验的特殊情况，这是我试图追查且未发现的，这是未提供信息的先验的特殊情况。它可能在Jeffreys论文之前。

对于正态分布，我已经看到柯西分布被用作具有正常可能性的数据的非信息先验。原因是柯西分布的精度为零，其中精度为一除以方差。它创建了一组相当独特的矛盾概念。

柯西的公式是

根据您定义积分的方式，可能没有定义的方差，或者没有达到中值的无穷大，这意味着精度为零。在共轭更新中（这不适用于此处），您添加了加权精度。我认为这就是为什么形成具有完全不精确密度的适当先验的想法的原因。它也等同于具有一个自由度的学生t，也可能是来源。

从柯西分布具有明确定义的位置中心和四分位间距的意义上来说，这是一个奇怪的想法 $2\Gamma$。

柯西分布的两个最早参考是似然函数。泊松致拉普拉斯的来信中的第一篇，这是中央极限定理的一个例外。第二个是1851年在Bienayme和Cauchy之间就普通最小二乘法的有效性进行的一场战斗中发表的期刊文章。

早在1980年代，我就已经发现了将其用作非情报性的参考，但是我找不到第一篇文章或书籍。我也没有找到证明它不是信息性的证据。我确实找到了Jeffreys 1961年关于概率论的书的引文，但我从未通过馆际互借来要求这本书。

它可能只是信息不足。99.99％的最高密度区域是1272个半四分位数范围。

希望对您有所帮助。这是一个奇怪的特殊情况，但是您会在许多回归论文中看到它。它以适当的先验性满足了贝叶斯行动的要求，同时对位置和规模的影响最小。