贝叶斯和惯常主义方法给出不同答案的示例

54

注：我是知道的哲学贝叶斯和频率统计之间的差异。

例如，“在桌上的硬币正面朝上的概率是多少”在常客统计中是没有意义的，因为它已经落在正面或反面了，没有任何概率。因此，该问题没有常人性的答案。

但是，这种差异显然不是我要问的那种差异。

相反，我想知道他们的预测是如何形成良好的问题实际上是不同在现实世界中，不包括任何理论/哲学分歧，如我上面提到的例子。

换句话说：

这是一个例子的问题，该问题在常客和贝叶斯统计中都可以回答，两者的答案不同？

（例如，也许其中一个回答“ 1/2”，而另一个回答“ 2/3”。）

有这样的区别吗？

如果是这样，有哪些例子？
如果没有，那么什么时候解决特定问题时使用贝叶斯统计或常客统计实际上有什么不同？
我为什么要避免一个偏向另一个？

bayesian frequentist

— 梅尔哈德
source

8

John Kruschke刚制作了两个视频，比较了贝叶斯方法和标准统计方法。他有许多例子，其中贝叶斯方法拒绝了，但标准方法没有。也许不是您想要的东西，但是无论如何... youtu.be/YyohWpjl6KU和youtu.be/IhlSD-lIQ_Y。

— RasmusBååth2012年

4

二项式分布提供了另一个示例，其中频繁性（基于可能性）推断和贝叶斯推断在某些情况下有所不同。对于某些样本，参数

的轮廓似然不会因为

而衰减到

（请参阅

）。这意味着某个似然置信区间的长度是无限的。在另一方面，的边缘后验分布

总是衰减至

作为

因为它是可积。

N

$N$

0

$0$

N \to \infty

$N\rightarrow \infty$

N

$N$

0

$0$

N \to \infty

$N\rightarrow\infty$

@Procrastinator：谢谢，我正在看现在提到的幻灯片。这似乎比我的数学背景要强一些，但是希望我能从中学到一些东西。:)

— Mehrdad 2012年

2

您可能想看看Stone的示例。：我在这里解释一下在我的博客normaldeviate.wordpress.com/2012/12/08/...

— 拉里·沃瑟曼

1

@mbq：只是想知道，为什么这是社区Wiki？

— Mehrdad 2014年

9

此示例从此处获取。（我什至认为我是从SO获得此链接的，但现在找不到了。）

一枚硬币被抛掷次，向上抛掷次。如果要再扔两次，您会赌两个头吗？假设您在第二次掷球之前（并独立地以条件）看不到第一次掷球的结果，因此您无法在两次掷球之间更新对的看法。 $n=14$ $k=10$ $\theta$ $\theta$

F （ ÿ_{F ， 1个} = 头 ， ÿ_{F ， 2} = 头 | θ ） = F （ ÿ_{F ， 1个} = 头 ） F （ ÿ_{F ， 2} = 头 | θ ） = θ^{2} 。

$f(y_{f,1}=\text{heads},y_{f,2}=\text{heads}|\theta)=f(y_{f,1}=\text{heads})f(y_{f,2}=\text{heads}|\theta)=\theta^2.$

Beta (α_{0}, β_{0})

$\text{Beta}(\alpha_0,\beta_0)$

对于现有的均匀（一

-prior），这给出大约0.485。因此，您可能不会下注。基于最大似然估计10/14，你会计算的两个头的概率

，这样的投注才有意义。

\begin{array}{rcl} F （ ÿ_{F ， 1个} = 头 ， ÿ_{F ， 2} = 头 | ÿ ） & = & \int F （ ÿ_{F ， 1个} = 头 ， ÿ_{F ， 2} = 头 | θ ） π （ θ | ÿ ） d θ \\ = & \frac{Γ （ α_{0} + β_{0} + ñ ）}{Γ （ α_{0} + ķ ） Γ （ β_{0} + ñ - ķ ）} \int θ^{2} θ^{α_{0} + ķ - 1个} {（ 1个 - θ ）}^{β_{0} + ñ - ķ - 1个} d θ \\ = & \frac{Γ （ α_{0} + β_{0} + ñ ）}{Γ （ α_{0} + ķ ） Γ （ β_{0} + ñ - ķ ）} \frac{Γ （ α_{0} + ķ + 2 ） Γ （ β_{0} + ñ - ķ ）}{Γ （ α_{0} + β_{0} + ñ + 2 ）} \\ = & \frac{（ α_{0} + ķ ） \cdot （ α_{0} + ķ + 1个 ）}{（ α_{0} + β_{0} + ñ ） \cdot （ α_{0} + β_{0} + ñ + 1个 ）} \end{array}

$\begin{eqnarray*} f(y_{f,1}=\text{heads},y_{f,2}=\text{heads}|y)&=&\int f(y_{f,1}=\text{heads},y_{f,2}=\text{heads}|\theta)\pi(\theta|y)d\theta\notag\\ &=&\frac{\Gamma\left(\alpha _{0}+\beta_{0}+n\right)}{\Gamma\left(\alpha_{0}+k\right)\Gamma\left(\beta_{0}+n-k\right)}\int \theta^2\theta ^{\alpha _{0}+k-1}\left( 1-\theta \right) ^{\beta _{0}+n-k-1}d\theta\notag\\ &=&\frac{\Gamma\left(\alpha_{0}+\beta_{0}+n\right)}{\Gamma\left(\alpha_{0}+k\right)\Gamma\left(\beta_{0}+n-k\right)}\frac{\Gamma\left(\alpha_{0}+k+2\right)\Gamma\left(\beta_{0}+n-k\right)}{\Gamma\left(\alpha_{0}+\beta_{0}+n+2\right)}\notag\\ &=&\frac{(\alpha_{0}+k)\cdot(\alpha_{0}+k+1)}{(\alpha_{0}+\beta_{0}+n)\cdot(\alpha_{0}+\beta_{0}+n+1)} \end{eqnarray*}$

Beta (1, 1)

$\text{Beta}(1, 1)$

(10 / 14)^{2} \approx .51

$(10/14)^2\approx.51$

— Christoph Hanck
source

+1正是我一直在寻找的答案，谢谢。

— Mehrdad 2015年

5

答案中引用的帖子实际上进行了更新。。。尽管他离开了帖子，但“我们可以更加不确定，而不是像以前那样使用均匀分布。在这种情况下，我们可以使用Beta（ 0,0）分布作为先验分布。这种分布对应于均等分布可能性均等的情况。在这种情况下，贝叶斯方法和频繁主义者这两种方法给出的结果相同。” !!! 因此，我们仍然需要一个示例来回答这个问题！因此，下面的答案+1是该问题的真实答案。

— 2015年

10

见我的问题在这里，其中提到埃德温·杰恩斯的论文，给出了一个正确的构建频率论置信区间，那里是样品中足够的信息，不知道确切的一个例子是，统计的真正价值在于无处置信区间（因此，置信区间不同于贝叶斯可信区间）。

但是，这样做的原因是置信区间和可信区间的定义不同，而这又是概率论和贝叶斯概率定义不同的直接结果。如果您要求贝叶斯产生贝叶斯置信度（而不是可信的）间隔，那么我怀疑总是存在一个先验，其间隔将是相同的，因此差异取决于选择先验。

归纳法还是贝叶斯方法是否合适取决于您要提出的问题，而归根结底，是由不同的哲学原理来决定答案（前提是无需考虑所需的计算和分析工作）。

有点面颊，可以说，长期频率是确定命题相对合理性的一种完全合理的方法，在这种情况下，常客统计数据是主观贝叶斯主义的一个有点奇怪的子集-因此，常客可以回答的任何问题主观贝叶斯主义者也可以用相同的方式回答，或者如果他们选择不同的先验，则可以用其他方式回答。; o）

— 迪克兰有袋动物
source

4

“主观贝叶斯”的使用有点自欺欺人（请参阅参考资料）。一般而言，建模充满主观主义，选择样本进行分布的选择也是主观的。即使选择拟合优度检验来检查某个模型是否合理也是主观的。

2

我真的不同意这一点，如果有人认为“主观”是过激的，那就是他们的错误。有时，当我们指概率时，我们实际上指的是主观的个人信念-我认为没有理由不这样说，如果这是实际含义（选择仅接受长期频率作为概率的定义是纯粹的主观选择）。

— 迪克兰有袋博物馆，2012年

1

+1感谢您的链接，这很有启发性。还要注意置信度和可信区间之间的差异。

— Mehrdad 2012年

8

我相信本文为两者之间的实际应用之间的权衡取舍提供了更有目的的意义。部分原因可能是由于我更喜欢间隔而不是测试。

Gustafson，P.和Greenland，S.（2009）。凌乱观测数据的区间估计。统计科学 24：328-342。

关于间隔，可能值得记住的是，频繁的置信区间需要/要求统一覆盖（对于每个不具有零概率的参数值，其精确度或至少大于x％）以及是否不有-他们没有真正的置信区间。（有些人会走得更远，说他们还必须排除会改变覆盖范围的相关子集。）

贝叶斯覆盖率通常是通过假定假定的先前结果完全正确，将其放宽到“平均覆盖率”来定义的。古斯塔夫森和格陵兰（Gustafson and Greenland，2009）称这些全能先验，并考虑容易犯错的先验，以提供更好的评估。

— phaneron
source

1

+1我从不知道限制方面的差异，感谢您指出这一点。

— Mehrdad 2012年

3

如果有人提出一个既有常客回答又有贝叶斯回答的问题，我怀疑其他人将能够识别出该问题的模棱两可，从而使其“结构不正确”。

换句话说，如果您需要常问问题的答案，请使用常问问题的方法。如果您需要贝叶斯答案，请使用贝叶斯方法。如果您不知道需要什么，那么您可能没有明确定义问题。

但是，在现实世界中，通常有几种不同的方法来定义问题或提出问题。有时，不清楚哪种方法更可取。当客户的客户在统计上天真时，这尤其常见。在其他时候，一个问题比另一个问题难回答。在这些情况下，通常会最轻松地尝试确保他的客户确切地同意他所问的问题或他正在解决的问题。

— 埃米尔·弗里德曼
source

3

我建议看一下MacKay 免费提供的教科书《信息论，推理和学习算法》的练习3.15 。

伦敦经济学院的统计学讲师巴里•布雷特（Barry Blight）说，当在边缘上旋转250次时，比利时的一欧元硬币正面朝上出现了140次，背面朝上出现了110次。“如果硬币没有偏见，得到极端结果的机会将少于7％”。但是这些数据是否能证明硬币有偏见而不是公平？

$p$ $0.07$ $6:1$

— 比目鱼
source