贝叶斯分析的缺点是什么?


44

在任何情况下使用贝叶斯统计方法有哪些实际反对意见?不,我并不是说通常会选择先验。如果没有答案,我会很高兴。


5
这个问题的框架是确定的,但是评论正朝着论点的方向发展,并有可能蔓延到该论点的错误方面。小心...这不是进行此类辩论的地方。如果要创建一个聊天室。
Whuber

Answers:


40

我会给你答案。实际上有四个缺点。请注意,这些都不是真正的反对意见,应该一路推动频频分析,但是使用贝叶斯框架有一个弊端:

  1. 优先选择。这是通常的原因,尽管在我看来,这不是通常的“先验是主观的”!但是提出一个合理的先验证据,实际上代表了您在总结先验证据方面的最佳尝试,这在许多情况下都是很多工作。例如,我论文的整个目标可以概括为“估计先验”。
  2. 它是计算密集型的。特别是对于涉及许多变量的模型。对于估计有许多变量的大型数据集,它的计算量可能非常高,特别是在某些情况下,数据无法轻易地扔到群集等上。解决这些问题的一些方法,例如增强数据而不是MCMC,至少对我来说在理论上有些挑战。
  3. 除非提供频度高的参数化描述,否则后验分布很难纳入荟萃分析。
  4. 根据分析所针对的期刊,一般是使用贝叶斯,或者您选择的优先顺序,会给您的论文更多一点,供审阅者深入研究。其中一些是合理的审稿人异议,但有些仅源于贝叶斯的本质以及某些领域的人们对此的熟悉程度。

这些事情都不能阻止您。确实,这些事情都没有阻止我,希望进行贝叶斯分析至少可以解决第4个问题。


2
#1,最好是第一步分析。在艺术界引起轰动。在科学领域中,定量引文综述。贝叶斯主义者不应该为此道歉。如果频率接近数据,就好像它们是亚当和夏娃一样-很好。我博士的第一章是荟萃分析(尽管是常客)。那就是应该的样子。#2摩尔定律,我发现与本地高性能计算小组进行的基于XKCD的简短讨论会有所帮助。#3元分析很糟糕。我赞成强制性的滚动大型分析,换句话说-发布时提供您的数据。
罗斯(Rosser)2011年

7
@rosser一些想法。#1 确实应该进行轻率的审查,是的,这应该是第一步。但是,要正确控制混杂,要进行适当的贝叶斯分析,需要对模型中要包含的每个变量进行全面,定量的回顾。那不是小任务。#2。依靠摩尔定律是一个坏主意。首先,最近在多核/ GPU系统中取得了很大的进步。这需要为其编写软件,并且需要从并行处理中解决问题。使用MCMC完成的单个GLM模型可能并非如此。续...
Fomite 2011年

6
@rosser,有时HPC不一定是答案。例如,我在数据使用协议之类的地区经常会阻止数据存储在除极安全的系统之外的事物上的区域。本地集群...不是。最后,摩尔定律仅与您的硬件预算很大一样好。至于#3和元分析,我倾向于不同意,但是除此之外,直到完全开放数据系统成为规范之前,这仍然是一个问题。
Fomite,2011年

好吧,我夸大了#3。但是,您在每个预测器上的工作对结果有多大的影响?不好意思 敏感性分析是否显示出巨大差异?
罗斯(Rosser)2011年

1
@Rosser这可能取决于您的预测变量的性质及其与暴露和结果的关系。但是,为了进行敏感性分析,某人必须对所有这些变量具有先验知识。也许我会将其作为论文的附带内容。我也发现选择贝叶斯的优势,但是假设变量的先验信息不合理,而这些变量“我不会费力找出”。
Fomite,2011年

16

我是一个贝叶斯倾向者,但在实践中通常是常客。这样做的原因通常是,针对我感兴趣的问题类型正确执行完整的贝叶斯分析(而不是例如MAP解决方案)是棘手的且计算量很大。通常,需要进行完整的贝叶斯分析才能真正看到这种方法相对于常客主义的好处。

对我而言,权衡原则上是在概念上优雅且易于理解但难以在实践中实施的贝叶斯方法与概念上笨拙而微妙的惯常方法之间进行选择(尝试解释如何准确解释假设检验或为什么不存在95%的概率真实值位于95%的置信区间内),但是非常适合轻松实现的“食谱”解决方案。

马课程。


11

从纯粹的实际角度来看,我不喜欢需要大量计算的方法(我想到的是经常在贝叶斯框架中使用的Gibbs采样器和MCMC,但这也适用于例如频繁分析中的自举技术)。原因是任何类型的调试(测试实现,查看假设的健壮性)本身都需要进行一系列的蒙特卡洛模拟,而您很快就会陷入计算难题。我希望基础分析技术能够快速确定性,即使它们只是近似的。

当然,这纯粹是实际的反对意见:给定无限的计算资源,这种反对意见就会消失。它仅适用于贝叶斯方法的子集。此外,考虑到我的工作流程,这更是一种偏爱。


1
到目前为止,我听到的是1.摩尔定律,2.辛勤的+/-耐心和3.的无知。不得不说,这些都不是令人信服的。贝叶斯似乎是一个总体模型。例如...为什么GWAS研究没有分析a-la Bayes。他们是否可以防止丢掉99.999%的数据?
罗斯(Rosser)2011年

1
相反:MCMC可以教会人们编写更快的代码,并从等待仿真完成的痛苦中学习。这是我在建模方面的经验:如果花很长时间运行,我可能会从学习如何使代码更快的过程中受益。
Iterator

9

有时,有一个简单而自然的“经典”解决方案,在这种情况下,一种花哨的贝叶斯方法(尤其是MCMC)可能会过大。

此外,在变量选择类型问题中,考虑类似惩罚可能性的方法可能更直接,更明确。在模型上可能存在先验,可以给出等效的贝叶斯方法,但是先验如何对应最终性能可能不及惩罚与绩效之间的关系那么明确。

最后,MCMC方法通常需要专家来评估收敛/混合和使结果有意义。


9

我对贝叶斯方法比较陌生,但是令我感到恼火的是,虽然我了解先验的原理(即科学是一种累加的努力,所以对于大多数问题,有一些以前的经验/想法应该可以告诉您数据的解释),我不喜欢贝叶斯方法迫使您将主观性推到分析的开始,从而使最终结果视情况而定。我认为这是有问题的,原因有两个:1)一些不太精通的读者甚至不会关注先验条件,并且将贝叶斯结果解释为非偶然条件。2)除非原始数据可用,否则读者很难以自己的主观先验来重新构造结果。这就是为什么我更喜欢似然比,

(评论家会注意到,即使似然比也取决于所比较模型的参数化,“似然比”还是“或有”的;但这是所有方法(惯常论,贝叶斯论和似然论)共有的特征)


9
与常客主义统计相反的问题是存在主观性,但根本没有提及。似然比的(实际)麻烦在于,它们基于优化似然比,因此忽略了可能存在其他可能性略微较小的其他解决方案这一事实。这就是贝叶斯因子有用的地方。但这始终是“课程的马匹”。
2011年

6

决策理论是进行统计的基础理论。问题是找到一个良好的(从某种意义上来说)从数据产生决策的过程。但是,就最大限度地减少预期损失的意义而言,很少有明确的程序选择,因此必须调用其他标准来进行选择。选择某些先验条件下的贝叶斯程序是这些条件之一,但不一定总是您想要的。在某些情况下或没有偏见,Minimax可能更为重要。

任何坚持认为常客是错的或贝叶斯主义者是错的人,大多在表明他们对统计数据的无知。


5

一段时间以来,我一直想对贝叶斯建模方法进行更多的教育,以超越我的粗略理解(我在研究生课程工作中为Gibbs采样器编码,但从未真正做过任何事情)。一路上,尽管我认为Brian Dennis的一些论文虽然令人发指,但希望我能找到一个贝叶斯朋友(不在壁橱中的朋友)来阅读这些论文并听取他们的反对意见。所以,这是我要参考的论文,但是我一直记得的报价是

成为贝叶斯意味着永远不必说你错了。

http://faculty.washington.edu/skalski/classes/QERM597/papers/Dennis_1996.pdf http://classes.warnercnr.colostate.edu/nr575/files/2011/01/Lele-and-Dennis-2009.pdf


1
第一篇论文(尚未阅读第二篇)似乎更多地是关于如何实践贝叶斯而不是理论。在实践中,对模型的检查并不严格,但在理论上,贝叶斯统计具有更好的模型检查功能,Jaynes称之为“证据”,体现在贝叶斯规则的分母P(D | model)中。有了它,您就可以比较模型的适用性,这只能凭经验在常客统计中做。当然,问题在于证据难于计算,因此大多数人都忽略了它,而是认为后验是最重要的因素(续)
cespinoza 2011年

2
点 2尝试使用谷歌搜索“技巧嵌套抽样”,您会发现一篇有关MCMC方法用于计算证据的论文。(还有其他基于证据的模型检查方法:Gelman通过从后验预测中采样并将其(通过视觉或其他方式)与实际数据进行比较来检查其模型。)有些人甚至建议应该通过查看对模型进行平均模型本身要边缘化的空间。我们可以看到的另一件事是非参数贝叶斯,它通过允许比传统参数模型更广泛的模型来解决该问题。
cespinoza 2011年

5
另外,我建议您观看由伯克利大学教授迈克尔·乔丹(Michael I. Jordan)制作的videolectures.net/mlss09uk_jordan_bfway,他对所谓的贝叶斯vs 弗雷克的看法相当平衡。“战争”。对于第一份论文的后半部分,我真的无法发表评论。我不了解任何生态参考。我稍后再读第二篇。
cespinoza

1
@cespinoza:我在上班的时候就在想这个。该论文说,贝叶斯算法永远不会看待残差(即将模型输出与实际数据进行比较),也许从原理上就避免了贝叶斯贝叶斯算法,但是像盖尔曼这样的从业者肯定会将模型输出(预测后验)与实际数据进行比较。我还不了解进一步的情况,但是我对这些论文的印象是,他们“设置”了“原则上”的稻草人来进攻。
韦恩

1
只需补充一点,不检查残差的贝叶斯是一个不好的统计学家。通常,贝叶斯方法与“粗糙且准备就绪”模型一起使用。检查残差是查看是否对先验模型和模型有足够知识的一种方法。它与检查您的模型和先前模型具有哪些理论特征并驾齐驱
概率

By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.