与Jeffreys不同，先验的示例导致后验不变

我将在两周前在这里提出的问题重新发布“答案”：为什么Jeffreys事前有用？不过，这确实是一个问题（我当时也无权发表评论），所以我希望可以这样做：

在上面的链接中，讨论了Jeffreys Prior的有趣特征是，在重新参数化模型时，所得后验分布给出了服从变换施加的约束的后验概率。比方说，如那里所讨论的，从所述成功概率移动时$\theta$在Beta-伯努利例如赔率$\psi=\theta/(1-\theta)$，它应该是的情况下，该后验满足$P(1/3\leq\theta\leq 2/3\mid X=x)=P(1/2\leq\psi\leq 2\mid X=x)$。

我想创建一个将$\theta$转换为奇数$\psi$的Jeffreys先验不变性的数值示例，更有趣的是，缺少其他先验（例如Haldane，均等或任意先验）。

现在，如果成功概率的后验是Beta（对于任何Beta先验，不仅是Jeffreys），则赔率的后验遵循具有相同参数的第二种Beta分布（请参阅Wikipedia）。然后，正如下面的数字示例中突出显示的那样（至少对我来说），对于Beta优先级的任何选择（与alpha0_U和一起玩）都是不变的beta0_U，这不仅是Jeffreys，参见。程序的输出。

library(GB2) 
# has the Beta density of the 2nd kind, the distribution of theta/(1-theta) if theta~Beta(alpha,beta)

theta_1 = 2/3 # a numerical example as in the above post
theta_2 = 1/3

odds_1 = theta_1/(1-theta_1) # the corresponding odds
odds_2 = theta_2/(1-theta_2)

n = 10 # some data
k = 4

alpha0_J = 1/2 # Jeffreys prior for the Beta-Bernoulli case
beta0_J = 1/2
alpha1_J = alpha0_J + k # the corresponding parameters of the posterior
beta1_J = beta0_J + n - k

alpha0_U = 0 # some other prior
beta0_U = 0
alpha1_U = alpha0_U + k # resulting posterior parameters for the other prior
beta1_U = beta0_U + n - k

# posterior probability that theta is between theta_1 and theta_2:
pbeta(theta_1,alpha1_J,beta1_J) - pbeta(theta_2,alpha1_J,beta1_J) 
# the same for the corresponding odds, based on the beta distribution of the second kind
pgb2(odds_1, 1, 1,alpha1_J,beta1_J) - pgb2(odds_2, 1, 1,alpha1_J,beta1_J) 

# same for the other prior and resulting posterior
pbeta(theta_1,alpha1_U,beta1_U) - pbeta(theta_2,alpha1_U,beta1_U)
pgb2(odds_1, 1, 1,alpha1_U,beta1_U) - pgb2(odds_2, 1, 1,alpha1_U,beta1_U)

这给我带来了以下问题：

1. 我会弄错吗？
2. 如果否，那么是否有共轭族不缺少不变性之类的结果？（快速检查使我怀疑，例如在正常-正常情况下，我是否也不会缺乏不变性。）
3. 您是否知道一个（最好是简单的）例子，其中我们确实缺乏不变性？

您的计算似乎正在验证，当我们具有特定的先验分布，以下两个过程$p(\theta)$

1. 计算后验$p_{\theta \mid D}(\theta \mid D)$
2. 变换上述后部成其他参数化，以获得$p_{\psi \mid D}(\psi \mid D)$

和

1. 变换现有成其他参数化，以获得p ψ（ψ $p_\theta(\theta)$$p_\psi(\psi)$
2. 使用现有，计算后验p ψ | d（ψ | d $p_\psi(\psi)$$p_{\psi \mid D}(\psi \mid D)$

导致后验相同。实际上，这总是会发生的（凹腔；只要变换使得ψ上的分布由θ上的分布确定）。$\psi$$\psi$$\theta$

但是，这不是所讨论的不变性的重点。相反，问题是，当我们有一种确定先验的特定方法时，是否需要以下两个过程：

1. 使用方法决定之前决定$p_\theta(\theta)$
2. 转换该分发到$p_\psi(\psi)$

和

1. 使用方法决定之前决定$p_\psi(\psi)$

导致具有相同的先验分布。如果它们导致相同的先验，则它们的确也将导致相同的后验（正如您已经验证的几种情况）。$\psi$

正如@ NeilG的答复中提到，如果你的方法，事先定制服的参数“决定之前就是，你不会得到的概率/赔率情况相同之前，作为统一之前的在[ 0 ，1 ]是不统一为ψ在[ 0 ，∞ ）。$\theta$$[0,1]$$\psi$$[0,\infty)$

相反，如果您确定先验的方法是“使用Jeffrey先验作为参数”，则将其用于并转换为ψ参数化还是直接用于ψ无关紧要。这就是要求的不变性。$\theta$$\psi$$\psi$

似乎您正在验证由数据引起的可能性不受参数化的影响，这与先验无关。

如果您选择先验的方式是例如“选择统一的先验”，那么在一个参数化下统一的东西（例如Beta，即Beta（1,1））在另一个参数化下（例如BetaPrime（1,1））不是统一的）（歪斜）—如果存在这种情况，则BetaPrime（1，-1）是统一的。

杰弗里斯先验是在重新参数化下不变的唯一“选择先验方式”。因此，它比其他任何选择先验方法的假设要少。