先验条件不正确的贝叶斯因素

我有一个关于使用贝叶斯因子进行模型比较的问题。在许多情况下，统计学家对使用贝叶斯方法使用不适当的先验条件（例如某些Jeffreys先验条件和参考先验条件）感兴趣。

我的问题是，在模型参数的后验分布定义明确的情况下，在使用不正确的先验条件下使用贝叶斯因子比较模型是否有效？

作为一个简单的示例，请考虑将普通模型与Logistic模型与Jeffreys Priors进行比较。

bayesian model-selection prior

— 杰弗里
source

不当先验扮演着“非信息先验”的角色。如果您处于“没有先验信念”的观点，那么显然您无法为模型分配先验概率。但是，Berger等人的一些论文涉及“固有贝叶斯因子”的概念。这听起来像具有非先验先验的贝叶斯因子，但我不能多说，因为我从未阅读过这些论文。可能还存在其他“客观贝叶斯模型选择”方法（在Google中键入这些术语会产生Berger的几篇论文）。

— 斯蒂芬·洛朗

@StéphaneLaurent参数先验的解释与模型先验概率的解释不同。从贝叶斯因子的一般表达式可以看出。您还可以为模型分配统一的先验，在参数之前分配不正确的先验，并查看数据告诉您后验的内容。

— Jeffrey 2012年

我建议阅读适用于变量选择的贝叶斯模型选择准则（AoS，2012年），尤其是引理1。基本上，不正确的先验不能用于非常见参数。

不能。尽管在某些情况下（由于伯恩斯坦–冯·米塞斯定理），不适当的先验可以用于参数估计，但是由于所谓的边际化悖论，它们对于模型比较来说是一个很大的禁忌。

$p_1(x \mid \theta)$ $p_1(\theta)$

p_{1} (x) = \int_{Θ} p_{1} (x ∣ θ) p_{1} (θ) d θ .

$p_1(x) = \int_\Theta p_1(x \mid \theta) p_1(\theta) d \theta .$

$p_1(\theta) \propto 1$ $p_1(x)$

一些作者，特别是ET Jaynes，试图通过将不正确的先验定义为适当先验序列的极限来解决此问题：问题是可能存在两个不同的限制性序列，然后给出不同的答案。

— 西蒙·伯恩
source

谢谢您的回答。如贝叶斯选择第349页所述，可以通过对公共参数（例如位置和比例参数）使用相同的不当先验来避免有关比例常数的问题。一定的结构。

— 杰弗里

问题在于，不切实际的情况将占主导地位：如果您对location参数使用统一的先验，则将在[100,200]区间上放置100倍权重，就像在[0,1]上一样（在[0,1]中看起来很荒谬）某些情况）。

— 西蒙·伯恩

但是，事实是，不正确的先验不能用概率术语来解释。考虑到先验的概率解释已经不正确，因此没有太大的意义。

— 杰弗里2012年

这不是概率，但它仍然是一种度量，因此您可以进行相对比较（即，“质量”在[100,200]区间是[0,1]的100倍）。

— 西蒙·伯恩

π (μ, σ) \propto σ^{- 1}

$\pi(\mu,\sigma)\propto \sigma^{-1}$