掷硬币时的Beta分布

克鲁施克（Kruschke）的贝叶斯书说，关于使用Beta分布来掷硬币，

例如，如果除了硬币没有正面和反面的知识之外，我们没有其他先验知识，那等于先前观察到一个头和一条尾巴对应于a = 1和b = 1。

为什么没有信息等于看到一头一尾-0头和0尾对我来说似乎更自然。

probability bayesian beta-distribution

— 哈特谢普苏特
source

（+1）引语具有误导性，因为它邀请读者将两种非常不同的“观察”等同起来。这里使用的感觉是检查硬币本身-实际上，这意味着您了解实验装置。但是，这意味着的结论取决于对实验进行两次不同意义上的“观察”的重新解释，在两次实验中，一个结果为正面，另一个结果为正面。这种逻辑上的狡猾是明智的选择。这只能使贝叶斯方法显得任意且在逻辑上很滑，实在可惜。

a = b = 1

$a=b=1$

— ub

引用是错误的：Beta（1，1）的先验没有理由。

— Neil G

人们可以轻易地认为这是一个观测值的信息-半头半尾。

— Glen_b-恢复莫妮卡

请记住本书中该段落的预期目的。对于初次应用的用户来说，这应该是一个简单的直观理由，显然不是数学上的论点，而且绝对不是声称beta（1,1）是最好的或唯一的模糊先验。在书中的其他地方，我竭尽全力表明，当存在大量数据时，模糊先验的适度变化不会对后验产生实质性影响。（当然，除了贝叶斯因素，它对先验非常敏感！）在其他著作中，我讨论了霍尔丹先验。

— John K. Kruschke '16

引号是“逻辑上的技巧”（很棒的表达！），如@whuber在给OP的注释中所指出的。在看到硬币有正面和反面之后，我们真正能说的唯一一件事就是“头”和“尾”这两个事件并非不可能。因此，我们可以丢弃将所有概率质量都放在“头”或“尾”上的离散先验。但是，这本身并不能导致统一的先验：这个问题更加微妙。首先让我们总结一下背景知识。我们正在考虑对概率的贝叶斯推理β-联二叉树模型结合的硬币的头，给独立同分布（有条件的）掷硬币。 $\theta$ $n$ $\theta$ 当我们观察抛掷头时： $p(\theta|x)$ $x$ $n$

p （ θ | X ） = 乙 Ë Ť 一种 （ X + α ， ñ - X + β ）

$p(\theta|x) = Beta(x+\alpha, n-x+\beta)$

我们可以说，和扮演“先头数”和“先头数”（伪试验）的角色，可解释为有效样本量。我们也可以使用后验均值作为先验均值的加权平均值来进行这种解释 $\alpha$ $\beta$ $\alpha+\beta$ 和样本均值 $\frac{\alpha}{\alpha+\beta}$ 。 $\frac{x}{n}$

查看，我们可以考虑两个因素： $p(\theta|x)$

由于我们没有关于（最大无知）的先验知识，因此我们直观地期望有效样本大小很小。如果很大，那么先验知识将包括很多知识。看到此的另一种方式是指出，如果和是“小”相对于和的后验概率不会在我们之前取决于很多，因为和 $\theta$ $\alpha+\beta$ $\alpha$ $\beta$ $x$ $n-x$ $x+\alpha\approx x$ $n-x+\beta\approx n-x$ 。我们希望，鉴于某些数据，没有很多知识的先验必定会很快变得无关紧要。
此外，由于是先验均值，我们具有大约的分布没有先验知识，我们希望。这是一个对称性的论点-如果我们不知道更好，就不会期望先验地将分布偏向0或1。 $\mu_{prior}=\frac{\alpha}{\alpha+\beta}$ $\theta$ $\mu_{prior}=0.5$

$F （ θ | α ， β ） = \frac{Γ （ α + β ）}{Γ （ α ） + Γ （ β ）} θ^{α - 1个} （ 1个 - θ ）^{β - 1个}$ $f(\theta|\alpha,\beta)=\frac{\Gamma(\alpha + \beta)}{\Gamma(\alpha) +\Gamma(\beta)}\theta^{\alpha-1}(1-\theta)^{\beta-1}$
如果则该表达式仅在附近对称。 $\theta=0.5$ $\alpha=\beta$

由于这两个原因，无论我们选择使用哪个先验（属于Beta系列-记住，共轭模型！），我们直观地期望且为“小”。我们可以看到，Beta-Binomial模型的所有三个常用的非信息先验都具有这些特征，但除此之外，它们是完全不同的。这是显而易见的：没有先验知识或“最大无知”不是科学定义，因此哪种先验表示“最大无知”，即什么是非信息先验，取决于您实际所说的“最大无知”。无知”。 $\alpha=\beta=c$ $c$

我们可以选择一个先验条件说所有值都是等概率的，因为我们不知道更好。同样，一个对称的论点。这对应于： $\theta$ $\alpha=\beta=1$

$F （ θ | 1个， 1个） = \frac{Γ （ 2 ）}{2 Γ （ 1个）} θ^{0} （ 1个 - θ ）^{0} = 1个$ $f(\theta|1,1)=\frac{\Gamma(2)}{2\Gamma(1)}\theta^{0}(1-\theta)^{0}=1$
为，即，现有所用的均匀由Kruschke。更正式地说，通过写出Beta分布的微分熵的表达式，您可以看到，当时，该表达式最大。现在，熵通常被解释为分布所携带的“信息量”的量度：较高的熵对应于较少的信息。因此，您可以使用这种最大熵原理来说，在Beta族内部，包含较少信息（最大无知）的先验就是这种统一先验。 $\theta\in[0,1]$ $\alpha=\beta=1$
您可以选择另一种观点，即OP使用的观点，并说没有信息对应于没有看到头也没有尾巴，即，

$α = β = 0 \Rightarrow π （ θ ） \propto θ^{- 1个} （ 1个 - θ ）^{- 1个}$ $\alpha=\beta=0 \Rightarrow \pi(\theta) \propto \theta^{-1}(1-\theta)^{-1}$
我们获得这种方式的先验称为Haldane先验。函数有一个小的问题-的积分超过是无限的，即，不管什么标准化常数，它不能被转换成一个适当的PDF文件。实际上，Haldane先验是一个适当的pmf，这使概率为0.5 ，对概率为0.5 ，对所有其他值的概率为 $\theta^{-1}(1-\theta)^{-1}$ $I=[0, 1]$ $\theta=0$ $\theta=1$ $\theta$ 。但是，我们不要忘了-对于连续参数，将不符合适当pdf的先验称为不当先验。如前所述，由于对贝叶斯推断而言，最重要的是后验分布，因此只要后验分布是适当的，就可以接受不适当的先验。对于霍尔丹先验，如果我们的样本至少包含一次成功和一次失败，我们可以证明后验pdf是正确的。因此，只有在观察到至少一只头和一只尾巴时，我们才可以使用Haldane。 $\theta$

霍尔丹先验可以认为是非信息性的，这是另一种感觉：后验分布的均值现在为，即正面的采样频率，它是硬币翻转问题的二项式模型的的频繁MLE估计。同样，的可信区间对应于Wald置信区间。由于常客方法没有指定先验，因此可以说Haldane先验是非信息性的，或者对应于零先验知识，因为它导致常客会做出“相同”的推论。 $\frac{\alpha + x}{\alpha + \beta + n}=\frac{x}{n}$ $\theta$ $\theta$
最后，您可以使用不依赖于问题参数化的先验，即Jeffreys先验，对于Beta-Binomial模型，该先验对应于

$α = β = \frac{1个}{2} \Rightarrow π （ θ ） \propto θ^{- \frac{1个}{2}} （ 1个 - θ ）^{- \frac{1个}{2}}$ $\alpha=\beta=\frac{1}{2} \Rightarrow \pi(\theta) \propto \theta^{-\frac{1}{2}}(1-\theta)^{-\frac{1}{2}}$
因此，有效样本量为1。Jeffreys先验的优点是在参数空间的重新参数化下它是不变的。例如，统一先验将相等的概率分配给事件“头部”的概率所有值。但是，您可以根据对数奇数 $\theta$ 事件“头”，而不是比。在对数奇数方面表示“最大无知”的先验是什么，即说事件“头部”的所有可能对数奇数都是等概率的？这是Haldane的先验，如这个（有点神秘）的答案所示。相反，在所有度量标准更改下，Jeffrey都是不变的。Jeffreys指出，不具有此属性的先验在某种意义上是有益的，因为它包含有关您用来对问题进行参数化的度量的信息。他的先验没有。 $\lambda=log(\frac{\theta}{1-\theta})$ $\theta$

总之，对于Beta-Binomial模型中的非信息性先验，不仅有一个明确的选择。您选择什么取决于您的零先验知识和分析目标的含义。

— 三角洲IV
source

$p(\theta=0)=0$ $p(\theta=1)=0$ $\theta$ $p(\theta)={\rm Beta}(h+1,(N-h)+1)$

— 用户名
source

我很难理解你的答案。

— Michael R. Chernick

p

$p$

θ = 0

$\theta=0$

θ = 1

$\theta=1$