我何时应该担心贝叶斯模型选择中的Jeffreys-Lindley悖论？

我正在考虑使用RJMCMC探索各种复杂性的大型（但有限）模型。每个模型的参数向量的先验是非常有用的。

1. 在哪种情况下（如果有），当更复杂的模型之一更适合时，我应该担心Jeffreys-Lindley悖论偏爱更简单的模型吗？

2. 有没有简单的例子可以突出贝叶斯模型选择中的悖论问题？

我已经读了几篇文章，分别是西安的博客和安德鲁·盖尔曼的博客，但是我仍然不太了解这个问题。

对不起，我的博客内容不清楚！

注意：在有关Cross验证的其他答案中，我提供了有关贝叶斯模型选择和Jeffreys-Lindley悖论的一些背景知识。

Jeffreys-Lindley悖论与贝叶斯模型选择有关，因为边际似然 当变得无意义时是有限度量（即具有无限质量的度量），而不是概率度量。出现此困难的原因是，对于任何正常数，无限质量使和不可区分。特别是，当一个模型具有先验“平坦”时，不能使用贝叶斯因数，也不应使用贝叶斯因数。

$$m(x)=\int \pi(\theta) f(x|\theta)\,\text{d}\theta$$ $\pi$$\sigma$$\pi$$\mathfrak{c}\pi$$\mathfrak{c}$

原始的Jeffreys-Lindley悖论以正态分布为例。比较模型和，贝叶斯因子为 如果是适当的先验，但如果您采用普通先验放在，让到无穷大，对于任何不同于零和值，分母都变为零。（除非和

$$x\sim\mathcal{N}(0,1)$$ $$x\sim\mathcal{N}(\theta,1)$$ $$\mathfrak{B}_{12}=\dfrac{\exp\{-n(\bar{x}_n)^2/2\}}{\int_{-\infty}^{+\infty}\exp\{-n(\bar{x}_n-\theta)^2/2\}\pi(\theta)\,\text{d}\theta}$$ $\pi$$\mathcal{N}(0,\tau^2)$$\theta$$\tau$$\bar{x}_n$$n$$\tau$$n$是相关的，但这变得更加复杂！）如果相反，您直接使用，其中必须是任意常数，则贝叶斯因子将是 因此直接依赖于。 $$\pi(\theta)=\mathfrak{c}$$ $\mathfrak{c}$$\mathfrak{B}_{12}$ $$\mathfrak{B}_{12}=\dfrac{\exp\{-n(\bar{x}_n)^2/2\}}{\mathfrak{c}\int_{-\infty}^{+\infty}\exp\{-n(\bar{x}_n-\theta)^2/2\}\,\text{d}\theta}=\dfrac{\exp\{-n(\bar{x}_n)^2/2\}}{\mathfrak{c}\sqrt{2\pi/n}}$$ $\mathfrak{c}$

现在，如果您的先验知识丰富（因而恰当），那么就没有理由发生Jeffreys-Lindley悖论。有了足够多的观察结果，贝叶斯因子将始终选择生成数据的模型。（或者更确切地说，考虑用于模型选择的模型集合中的模型最接近生成数据的“真实”模型。）