杰弗里斯（Jeffreys）先验二项式可能性

如果我将Jeffreys先验用于二项式概率参数则这意味着使用分布。 $\theta$ $\theta \sim beta(1/2,1/2)$

如果我转换为参考的新帧，则显然也不会以分布的形式分布。 $\phi = \theta^2$ $\phi$ $beta(1/2,1/2)$

我的问题是，从什么意义上说，杰弗里斯对重新参数化的先验不变性是什么？我想我对这个话题真是个误解。

最好，

本

bayesian jeffreys-prior

— ben18785
source

从一个参数化的Jeffreys先验开始并运行变量的适当更改的意义上来说，Jeffreys的先验是不变的，就等于直接为这个新的参数化派生Jeffreys先验。实际上，等变量比不变量更合适。

— 西安

@ ben18785：看看stats.stackexchange.com/questions/38962/…–

— Zen

另请参阅math.stackexchange.com/questions/210607/…（我认为大致相同的问题，但在不同的站点上）。

— 纳撒尼尔（Nathaniel）

另请参见stats.stackexchange.com/questions/139001/...

— 克里斯托夫Hanck

设，其中是的单调函数，而是的倒数，因此。我们可以通过两种方式获得杰弗里的先验分布： $\phi = g(\theta)$ $g$ $\theta$ $h$ $g$ $\theta = h(\phi)$ $p_{J}(\phi)$

从二项式模型（1）用重新参数化模型以得到并为此模型获得Jeffrey的先验分布。 $p (y | θ) = (\binom{n}{y}) θ^{y} (1 - θ)^{n - y}$ $\begin{equation} \label{original} p(y | \theta) = \binom{n}{y} \theta^{y} (1-\theta)^{n-y} \end{equation}$ $\phi = g(\theta)$ $p (y | ϕ) = (\binom{n}{y}) h (ϕ)^{y} (1 - h (ϕ))^{n - y}$ $p(y | \phi) = \binom{n}{y} h(\phi)^{y} (1-h(\phi))^{n-y}$ $p_{J}(\phi)$
从原始二项式模型1 获得Jeffrey的先验分布并应用变量公式的变化来获得 $p_{J}(\theta)$ $\phi$ $p_{J} (ϕ) = p_{J} (h (ϕ)) | \frac{d h}{d ϕ} | .$ $p_{J}(\phi) = p_{J}(h(\phi)) |\frac{dh}{d\phi}|.$

不变地意味着重新参数化意味着以两种方式导出的密度应该相同。杰弗里（Jeffrey）的先验具有此特征[参考：P. Hoff的贝叶斯统计方法的第一门课程 ]。 $p_{J}(\phi)$

回答您的评论。要从二项式模型的似然中获得Jeffrey的先验分布我们必须通过采用似然对数来计算Fisher信息，并计算二阶导数，Fisher信息为 $p_{J}(\theta)$

p (y | θ) = (\binom{n}{y}) θ^{y} (1 - θ)^{n - y}

$p(y | \theta) = \binom{n}{y} \theta^{y} (1-\theta)^{n-y}$

l

$l$

l

$l$

\begin{aligned} l := \log (p (y | θ)) & \propto y \log (θ) + (n - y) \log (1 - θ) \\ \frac{\partial l}{\partial θ} & = \frac{y}{θ} - \frac{n - y}{1 - θ} \\ \frac{\partial^{2} l}{\partial θ^{2}} & = - \frac{y}{θ^{2}} - \frac{n - y}{(1 - θ)^{2}} \end{aligned}

$\begin{align*} l := \log(p(y | \theta)) &\propto y \log(\theta) + (n-y) \log(1-\theta) \\ \frac{\partial l }{\partial \theta} &= \frac{y}{\theta} - \frac{n-y}{1-\theta} \\ \frac{\partial^{2} l }{\partial \theta^{2}} &= -\frac{y}{\theta^{2}} - \frac{n-y}{ (1-\theta)^{2} } \end{align*}$

\begin{aligned} I (θ) & = - E (\frac{\partial^{2} l}{\partial θ^{2}} | θ) \\ = \frac{n θ}{θ^{2}} + \frac{n - n θ}{(1 - θ)^{2}} \\ = \frac{n}{θ (1 - θ)} \\ \propto θ^{- 1} (1 - θ)^{- 1} . \end{aligned}

$\begin{align*} I(\theta) &= -E(\frac{\partial^{2} l }{\partial \theta^{2}} | \theta) \\ &= \frac{n\theta}{\theta^{2}} + \frac{n - n \theta}{(1-\theta)^{2}} \\ &= \frac{n}{\theta ( 1- \theta)} \\ &\propto \theta^{-1} (1-\theta)^{-1}. \end{align*}$ 该模型的Jeffrey先验条件是，即。

\begin{aligned} p_{J} (θ) & = \sqrt{I (θ)} \\ \propto θ^{- 1 / 2} (1 - θ)^{- 1 / 2} \end{aligned}

$\begin{align*} p_{J}(\theta) &= \sqrt{I(\theta)} \\ &\propto \theta^{-1/2} (1-\theta)^{-1/2} \end{align*}$

beta (1 / 2, 1 / 2)

$\texttt{beta}(1/2, 1/2)$

— 马可·拉洛维奇（MarkoLalović）
source

感谢您的回答。怕我有点慢。在什么意义上我们可以从可能性中获得先验？它们是两个独立的事物，后者并不意味着前者...

— ben18785 '17

上面我从二项式模型的可能性中获得了杰弗里的先验来回答。

p_{J} (θ)

$p_{J}(\theta)$

— MarkoLalović17年