Jeffreys Priors和方差稳定转换之间的关系是什么？

我维基百科上之前阅读有关杰弗瑞斯：杰弗里斯之前和锯，其各实施例之后，它描述了一个方差稳定转化如何接通杰弗里斯现有成均匀之前。

例如，对于伯努利的情况，它表示对于以概率前进的硬币，伯努利试验模型得出，参数的杰弗里斯先验值为： $\gamma \in [0,1]$ $\gamma$

p (γ) \propto \frac{1}{\sqrt{γ (1 - γ)}}

$p(\gamma) \propto \frac{1}{\sqrt{\gamma ( 1-\gamma)}}$

然后声明这是一个带有的beta分布。它还指出，如果，则现有的杰弗里中的间隔是均匀的。 $\alpha = \beta = \frac{1}{2}$ $\gamma = \sin^2(\theta)$ $\theta$ $\left[0, \frac{\pi}{2}\right]$

我认为该转换是稳定方差的转换。让我感到困惑的是：

为什么稳定方差的转换会导致统一的先验？
我们为什么还要统一制服？（因为它似乎更容易受到不当行为的影响）

总的来说，我不确定为什么要给出平方正弦变换以及起什么作用。有人有什么想法吗？

bayesian prior jeffreys-prior

— 用户1398057
source

我要问自己，这是自学成才的骗子，但是：您指的是哪个稳定方差的转化？

\frac{1}{\sqrt{\sin^{2} (θ) (1 - \sin^{2} (θ))}}

$\frac{1}{\sqrt{\sin^2(\theta) \left( 1 - \sin^2(\theta) \right)}}$ ？

— Shadowtalker '16

平方正弦通常是错误思考转换的错误方法。

是反正弦平方根或角度变换。

θ = arcsin \sqrt[]{γ}

$\theta = \text{arcsin} \root \of \gamma$

— 尼克·考克斯

Answers:

Jeffreys先验在重新参数化下是不变的。因此，许多贝叶斯主义者认为它是“无信息的先验”。（哈蒂根表明，有这样的先验的整个空间为，其中是杰弗里斯之前和是Hartigan的渐近局部不变现有- 不变先验分布） $J^\alpha H^\beta$ $\alpha + \beta=1$ $J$ $H$

统一的先验是非信息性的，但是在对参数进行任意转换之后，新参数上的统一的先验意味着完全不同，这是一个经常重复的错误。如果参数化的任意更改影响您的先验知识，那么您的先验知识显然很有意义。

根据定义，使用Jeffreys 等同于在应用方差稳定化变换之后使用平坦运算。
从数学的角度来看，在应用方差稳定化变换之后，使用Jeffreys先验和使用平坦先验是等效的。从人类的角度来看，后者可能更好，因为参数空间变得“均匀”，即无论您在参数空间中的位置如何，每个方向上的差异都是相同的。

考虑您的伯努利例子。在测试中获得99％的分数与90％的距离与59％的50％的距离是一样的，这有点奇怪吗？在进行了稳定方差的变换之后，前一个对应该分开，因此应该分开。它符合我们对空间中实际距离的直觉。（在数学上，方差稳定变换使对数损失的曲率等于单位矩阵。）

— 尼尔·G
source

1.我同意统一先验并不意味着“非信息先验”，但我的评论（在特定的参数设置下）仍然不改变某个值而不是另一个值。2.先验的适当性非常重要。如果先验数据不正确并且有数据，则不能保证后验数据正确。因此，这非常令人担忧。

— Greenparker

1.但这就是重点：参数化是任意的，因此说您没有将一个值放在另一个值上是毫无意义的。2.在实践中，我从未发现过相关的问题。我猜这可能与其他人有关。

— 尼尔·G

1.公平点。2.我不确定您要解决什么问题，但是即使是带有杰弗里先验的简单高斯似然也可能具有不正确的后验。在这里查看我的答案。

— Greenparker

@Greenparker你是对的。我将在回答中阐明为什么它与我无关。

— 尼尔G

我认为修改不正确。如果后验不正确，则MCMC无疑是毫无意义的，因为您试图从未定义的分布中提取。想象一下尝试使用任何采样方案从Uniform

进行采样。虽然，MCMC算法可能仍然是遍历遍历的（当您具有零循环时），但是您的样本将无用。

(0, \infty)

$(0,\infty)$

— Greenparker

您提供的Wikipedia页面实际上并未使用术语“方差稳定化转换”。术语“方差稳定化变换”通常用于表示使随机变量的方差成为常数的变换。尽管在伯努利案中，这就是转型中正在发生的事情，但这并不完全是目标。目标是获得均匀的分布，而不仅仅是使方差稳定。

回想一下，使用Jeffreys Prior的主要目的之一是在变换下它是不变的。这意味着，如果您重新设置变量的参数，则先验不会改变。

1。

之前在此伯努利情况下杰弗里斯，因为你指出的那样，是一个测试。 $(1/2, 1/2)$

p_{γ} (γ) \propto \frac{1}{\sqrt{γ (1 - γ)}} .

$p_{\gamma}(\gamma) \propto \dfrac{1}{\sqrt{\gamma(1-\gamma)}}.$

用，我们可以找到的分布。首先让我们看 $\gamma = \sin^2(\theta)$ $\theta$ ，并且由于，。回想一下，。 $\theta = \arcsin(\sqrt{\gamma})$ $0 < \gamma < 1$ $0 < \theta < \pi/2$ $\sin^2(x) + \cos^2(x) = 1$

\begin{aligned} F_{θ} (x) & = P (θ < x) \\ = P (\sin^{2} (θ) < \sin^{2} (x)) \\ = P (γ < \sin^{2} (x)) \\ = F_{γ} (\sin^{2} (x)) \\ f_{θ} (x) & = \frac{d F_{γ} (\sin^{2} (x)}{d x} \\ = 2 \sin (x) \cos (x) p_{γ} (\sin^{2} (x)) \\ \propto \sin (x) \cos (x) \frac{1}{\sqrt{\sin^{2} (x) (1 - \sin^{2} (x))}} \\ = 1. \end{aligned}

$\begin{align*} F_{\theta}(x) & = P(\theta < x)\\ & = P(\sin^2(\theta) < \sin^2(x))\\ & = P(\gamma < \sin^2(x))\\ & = F_{\gamma}(\sin^2(x))\\ f_{\theta}(x) & = \dfrac{d F_{\gamma}(\sin^2(x)}{d x}\\ & = 2\sin(x)\cos(x)\,p_{\gamma}(\sin^2(x))\\ & \propto \sin(x)\cos(x) \dfrac{1}{\sqrt{\sin^2(x)(1 - \sin^2(x))}}\\ & =1. \end{align*}$

Thus $\theta$ is the uniform distribution on $(0, \pi/2)$ . This is why the $\sin^2(\theta)$ transformation is used, so that the re-parametrization leads to a uniform distribution. The uniform distribution is now the Jeffreys prior on $\theta$ (since Jeffreys prior is invariant under transformation). This answers your first question.

Often in Bayesian analysis one wants a uniform prior when there is not enough information or prior knowledge about the distribution of the parameter. Such a prior is also called a "diffuse prior" or "default prior". The idea is to not commit to any value in the parameter space more than other values. In such a case the posterior is then completely dependent on the data likelihood. Since,

q (θ | x) \propto f (x | θ) f (θ) \propto f (x | θ) .

$q(\theta|x) \propto f(x|\theta) f(\theta) \propto f(x|\theta).$

If the transformation is such that the transformed space is bounded, (like $(0, \pi/2)$ in this example), then the uniform distribution will be proper. If the transformed space is unbounded, then the uniform prior will be improper, but often the resulting posterior will be proper. Although, one should always verify that this is the case.

— Greenparker
source

This idea that you are "not committing to any value" by using a diffuse prior is wrong. The proof is that you can take any transformation of the space and the diffuse prior will mean something completely different.

— Neil G

My comment on "not committing to any value" refers only to that particular parameterization. Of course, transformations will change how the mass is distributed (just like in this Bernoulli example).

— Greenparker

Like I said below your other comment, the parametrization is arbitrary, which is why the statement "not committing to any value" is meaningless.

— Neil G