在无信息的Beta先验之间进行选择

我正在寻找无信息的先验信息，以进行Beta分发以使用二项式过程（命中率/小姐）。最初，我考虑使用生成统一的PDF，或者使用Jeffrey 优先使用。但是我实际上是在寻找对后验结果影响最小的先验，然后我考虑使用的不正确的先验。这里的问题是，只有当我至少有一次命中和一次错过时，我的后验分布才起作用。为了克服这个问题，我然后考虑使用一个非常小的常数，例如，只是为了确保后和将。 $\alpha=1, \beta=1$ $\alpha=0.5, \beta=0.5$ $\alpha=0, \beta=0$ $\alpha=0.0001, \beta=0.0001$ $\alpha$ $\beta$ $>0$

有谁知道这种方法是否可以接受？我看到了更改这些先验的数值效果，但是有人可以给我一种将像这样的小常数放在先验的解释吗？

— 马泰斯
source

对于具有很多命中和遗漏的大型样本，它的作用不大。对于小样本，尤其是如果没有至少一次命中和一次未命中，则差异很大。即使您的“非常小的常数”的大小也会产生重大影响。我建议您进行的关键思想实验可能是在样本量为

之后采用哪种后验才有意义

1

$1$ ：这可能会让您相信像Jeffrey s Prior这样的事是合理的

— Henry

还有的一纸建议克尔曼1/3＆1/3，B

— 比约恩

“对后验结果的最小影响”是什么意思？比起什么？

— 威尔

我改善了问题的格式和标题，可以随时还原或更改编辑内容。

— 蒂姆

首先，没有没有先验先验的东西。在下面，您可以看到在给定不同数据的情况下，由五个不同的“非信息”先验（在图下方进行描述）产生的后验分布。您可以清楚地看到，选择“非信息性”先验会影响后验分布，尤其是在数据本身没有提供太多信息的情况下。

“无信息”先验为β分布共享属性，，什么导致对称分布，和，公共选择：是均匀的（贝叶斯拉普拉斯）之前（），杰弗瑞斯之前（）， “中性”之前（）由克尔曼（2011）提出，事先霍尔丹（ $\alpha = \beta$ $\alpha \le 1, \beta \le 1$ $\alpha = \beta = 1$ $\alpha = \beta = 1/2$ $\alpha = \beta = 1/3$ $\alpha = \beta = 0$ ）或近似值（且）（另请参见Wikipedia上的出色文章）。 $\alpha = \beta = \varepsilon$ $\varepsilon > 0$

β先验分布的参数通常被视为成功（）和失败（）的“伪计数”，因为在试验中观察到成功之后，β二项式模型的后验分布是 $\alpha$ $\beta$ $y$ $n$

θ ∣ y \sim B (α + y, β + n - y)

$\theta \mid y \sim \mathcal{B}(\alpha + y, \beta + n - y)$

因此，越高它们对后方的影响就越大。因此，当选择您假设您先“看到”了一次成功和一次失败（这可能取决于也可能不取决于）。 $\alpha,\beta$ $\alpha=\beta=1$ $n$

乍一看，霍尔丹先验似乎是最“无信息”的，因为它导致后验均值，即正好等于最大似然估计

\frac{α + y}{α + y + β + n - y} = y / n

$\frac{\alpha + y}{\alpha + y + \beta + n - y} = y / n$

$y=0$ $y=n$

支持和反对每种“非信息性”先验有很多理由（见Kerman，2011； Tuyl等，2008）。例如，正如Tuyl等人所讨论的，

$1$ $0$ $1$

另一方面，对小型数据集使用统一的先验可能会产生很大的影响（从伪计数的角度考虑）。您可以在多篇论文和手册中找到有关此主题的更多信息和讨论。

非常抱歉，但是没有一个“最佳”，“最无信息”或“一刀切”的先验。他们每个人都将一些信息带入模型。

Kerman，J.（2011年）。中性非信息性和信息性共轭β和γ先验分布。电子统计杂志，第5期，1450-1470。

Tuyl，F.，Gerlach，R.和Mengersen，K.（2008）。贝叶斯-拉普拉斯，杰弗里斯和其他先验的比较。美国统计学家，62（1）：40-44。

— 蒂姆
source