经验贝叶斯如何有效?


24

因此,我刚读完一本很棒的书《经验贝叶斯简介》。我以为这本书很棒,但是根据数据建立先验感觉是错误的。我们接受过培训,要求您提出分析计划,然后收集数据,然后测试您先前在分析计划中确定的假设。在对已经收集的数据进行分析时,这将使您进入选择性后推断,在此之后您必须对所谓的“重要”更为严格,请参见此处。我认为机器学习有一个类似的东西,叫做“樱桃采摘”,意思是在建立测试和训练集之前选出预测变量(《统计学习入门》)。

鉴于我以前学到的知识,在我看来,经验贝叶斯基于薄弱的基础。人们是否仅在被动生成数据的环境中使用它?如果是这样,这可能是合理的,但是在进行严格的实验设计时使用它似乎并不正确,但是我知道Brad Efron确实使用了专门针对生物统计学的经验贝叶斯方法,而贝叶斯通常是一个非常重要的NHST领域。

我的问题是:

  1. 经验贝叶斯如何有效?
  2. 在什么情况下使用?
  3. 在什么情况下应该避免使用经验贝叶斯方法?为什么?
  4. 人们是否在生物统计学之外的其他领域使用它?如果是,他们在什么情况下使用它?

1
“有效”是什么意思?贝叶斯(DV Lindley)DV的一位已故已故的著名人士说:“没有任何人比经验贝叶斯少。”
马克·L·斯通

Answers:


16

我认为重要的是要记住,不同的方法对不同的事物都有好处,而重要性测试并不是统计领域中的全部。

1和3)EB可能不是有效的假设检验程序,但也并非如此。

有效性可能有很多方面,但是您在谈论严格的实验设计,因此我们可能正在讨论一种假设检验,该假设检验可以帮助您以一定的长期频率做出正确的决定。这是严格二分的“是/否”类型的制度,对必须做出“是/否”决定的人来说最有用。确实,非常聪明的人对此有很多经典著作。假设您所有的假设都成立,这些方法在极限上具有良好的理论有效性。但是,EB当然不是为此目的。如果要使用经典的NHST方法,请坚持使用经典的NHST方法。


2)EB最适用于您估计许多相似,可变数量的问题。

埃夫隆本人打开他的书《大规模推理》,列出了统计历史的三个不同时代,指出我们目前正处于

科学大规模生产的时代,以微阵列为代表的新技术使一个科学家团队就能生产出Quetelet羡慕的大小的数据集。但是现在,大量的数据伴随着大量的问题,也许是统计学家被要求一起回答的成千上万的估计或假设检验。根本不像古典大师的想法。

他继续说:

根据其性质,经验贝叶斯论证在分析重复结构问题时结合了常客和贝叶斯要素。重复的结构正是科学大规模生产所擅长的,例如,通过微阵列同时比较患病和健康受试者数千种基因的表达水平。

也许EB最成功最近的应用limma可在Bioconductor的。这是一个R-package,其中包含评估两个研究小组中成千上万个基因之间差异表达(即微阵列)的方法。史密斯(Smyth)显示,与您要计算常规基因方式t统计量相比,他们的EB方法产生的t统计量具有更大的自由度。此处使用EB“等同于将估计的样本方差向汇总的估计值缩小,从而在数组数量较小时得出更稳定的推论”,通常是这种情况。

正如Efron所指出的那样,这与经典NHST的开发完全不同,设置通常比确定性更具探索性。


4)通常,您可以将EB视为一种收缩方法,并且在任何有用的收缩方法中都可以使用EB

limmaX1个Xķθ^一世Ĵ小号=1个-C/小号2X一世小号2=Ĵ=1个ķXĴCX一世

X¯

收缩

估计的数量越相似,收缩有用的可能性就越大。您所指的书使用棒球命中率。Morris(1983)指出了其他一些应用:

  • 收益分享---人口普查局。估算几个地区的人均普查收入。
  • 质量保证---贝尔实验室。估计不同时间段的故障数。
  • 保险费率制定。估计一组被保险人或不同地区的每次暴露风险。
  • 法学院招生。估算不同学校相对于GPA的LSAT分数的权重。
  • 火灾报警器--- NYC。估计不同报警框位置的误报率。

这些都是并行估计问题,据我所知,与其说要确定是/否决定,不如说是对某个数量的正确预测。


一些参考

  • Efron,B.(2012年)。大规模推理:用于估计,测试和预测的经验贝叶斯方法(第1卷)。剑桥大学出版社。芝加哥
  • 埃夫隆(Efron,B.)和莫里斯(Morris,C.)(1973)。斯坦因的估计规则及其竞争对手-一种经验贝叶斯方法。美国统计协会杂志,68(341),117-130。芝加哥
  • James W.和Stein C.(1961年6月)。具有二次损失的估计。在第四届伯克利数学统计和概率研讨会论文集(第1卷,1961年,第361-379页)中。芝加哥
  • 莫里斯,加拿大(1983)。参数经验贝叶斯推论:理论与应用。美国统计协会杂志,78(381),47-55。
  • 史密斯,GK(2004)。用于评估微阵列实验中差异表达的线性模型和经验贝叶斯方法。遗传学和分子生物学中的统计应用第3卷,第1期,第3条。
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.