谁是贝叶斯主义者?


92

随着人们对统计数据产生兴趣,二分法“ Frequentist”与“ Bayesian”很快就变得司空见惯了(谁还没有读过Nate Silver的《信号与噪声》?)。在讲座和入门课程中,观点绝大多数是常客(MLE,值),但往往只花很少的时间来欣赏贝叶斯公式并触及先验分布的想法,通常是切向的。p

讨论贝叶斯统计的语气在对概念基础的尊重与对崇高目标之间的鸿沟的怀疑以及暗示对先验分布的选择的任意性或最终使用频数数学之间摇摆不定。

诸如“如果您是贝叶斯人的核心...”之类的句子比比皆是。

问题是,今天的贝叶斯是谁?他们是某些精选的学术机构,您知道如果您去那里会成为贝叶斯主义者?如果是这样,他们是否受到特别追捧?我们仅指的是一些受人尊敬的统计学家和数学家,如果是的话,他们是谁?

它们甚至以纯正的“贝叶斯”形式存在吗?他们会愉快地接受标签吗?它总是一个讨人喜欢的区别吗?他们是在会议上有奇特幻灯片的数学家,没有任何值和置信区间,容易在小册子上发现吗?p

“贝叶斯”成为一个利基市场?我们是指少数统计学家吗?

还是当前的贝叶斯主义等于机器学习应用程序?

...或者甚至更有可能是,贝叶斯统计不是仅仅是统计的一个分支,而是一种超越了概率计算范围而成为科学哲学的认识论运动吗?在这方面,所有科学家都将是贝叶斯的内心……但是就不会有纯粹的贝叶斯统计学家无法渗透到频繁主义者的技术(或矛盾)中。


18
我也想知道!我的感觉是,“贝叶斯”一词经常被不喜欢这种统计数据的人使用。我是贝叶斯数据分析的忠实拥护者,但我不认为自己是贝叶斯主义者,就像我不认为自己是矩阵代数学家一样
RasmusBååth2015年

4
在某些方面,明显的划分是虚构的。有时人们只是喜欢陷入“我们与我们”的关系。我得到的印象是,几年后没有人再在乎了。“哲学”并不矛盾。常见的人没有找到好的估算器的神奇方法。但是给定两个估计量,它们可能具有确定哪个估计量最佳的标准。(即使那样,两个常客也可能会彼此意见分歧,并使用不同的标准。但我离题了)。...
亚伦·麦克戴德

1
...(续)顽固的常客,在寻找一类估计器以从中选择“最佳”估计器时,可能会合理地决定考虑所有贝叶斯估计器的类(即先验),因此使用估计器(先验)最好是按照他们的“客观”标准。这样的人是常客(因为他们如何选择最佳估计量)还是贝叶斯(因为他们仅将贝叶斯估计量视为候选者)?有人在乎吗?我想许多这样的人称自己为贝叶斯人,尽管他们的自我分配可能是错误的。
亚伦·麦克戴德

3
只需注意-MLE也是基于似然论方法,而不是纯粹的频繁论者。
劳伦·古德温

5
@Count我所熟悉的一些文献(在风险交流和相关心理学中,Kahneman,Slovic,Tersky 等人)表明,人们没有使用数学上正确的程序来推理概率。有关其中一些流行的说明,请参见卡尼曼的思考,快和慢。那么,您的评论的逻辑含义是人类不是“复杂的生命形式”。
ub

Answers:


58

我将按顺序回答您的问题:

问题是,今天的贝叶斯是谁?

任何进行贝叶斯数据分析并自我识别为“贝叶斯”的人。就像程序员一样,有人编程并自称为“程序员”。略有差异是由于历史原因,贝叶斯具有意识形态内涵,这是因为“概率论”的拥护者和“贝叶斯”概率的拥护者之间经常争论不休。

他们是一些精选的学术机构吗,您知道如果去那里会成为贝叶斯主义者?

不,就像统计数据的其他部分一样,您只需要一本好书(也许是一位好老师)。

如果是这样,他们是否受到特别追捧?

在进行统计建模时,贝叶斯数据分析是一个非常有用的工具,我认为这是一种非常抢手的技能(即使公司可能不是专门寻找“贝叶斯”)。

我们仅指的是一些受人尊敬的统计学家和数学家,如果是的话,他们是谁?

有许多受人尊敬的统计学家,我相信会自称贝叶斯,但这些都不是贝叶斯。

它们甚至以纯正的“贝叶斯”形式存在吗?

这有点像问“这些纯程序员是否存在”?有一篇有趣的文章叫做《46656贝叶斯变种》,并确保“贝叶斯”中存在关于许多基本问题的健康论据。就像程序员可以争论不同编程技术的优点一样。(顺便说一句,Haskell中的纯程序员程序)。

他们会愉快地接受标签吗?

有些会,有些不会。当我发现贝叶斯数据分析时,我认为这是自切片面包以来最好的(我仍然这样做),我很高兴称自己为“贝叶斯”(尤其是要激怒我部门的p值人员)。如今,我不喜欢该术语,因为它会使贝叶斯数据分析听起来像某种崇拜,但它并不是统计工具箱中的一种有用方法,它可能会使人疏远。

它总是一个讨人喜欢的区别吗?

不!据我所知,“贝叶斯”一词是著名统计学家费舍尔提出的贬义词。在此之前,它被称为“逆概率”或“概率”。

他们是在会议上有奇特幻灯片的数学家,没有任何p值和置信区间,容易在小册子上发现吗?

好吧,贝叶斯统计中有一些会议,我认为它们没有包含那么多的p值。是否会找到特殊的幻灯片取决于您的背景...

“贝叶斯”成为一个利基市场?我们是指少数统计学家吗?

我仍然认为少数统计学家会处理贝叶斯统计,但我也认为这一比例正在增加。

还是当前的贝叶斯主义等于机器学习应用程序?

不,但是贝叶斯模型在机器学习中被大量使用。这是一本很棒的机器学习书,从贝叶斯/ probibalistic角度介绍了机器学习:http : //www.cs.ubc.ca/~murphyk/MLbook/

希望能回答大多数问题:)

更新:

[C]请考虑添加可区分贝叶斯统计数据的特定技术或前提的列表吗?

什么区别贝叶斯统计是采用贝叶斯模型的:)这里是我的贝叶斯模型什么的自旋

贝叶斯模型是一种统计模型,您可以使用概率来表示模型中的所有不确定性,既包括有关输出的不确定性,也包括有关模型的输入(即参数)的不确定性。整个先验/后验/贝叶斯定理都在此之上,但是在我看来,对所有事物都使用概率才使它成为贝叶斯定理(实际上,更好的词可能就是概率模型)。

现在,贝叶斯模型很难适应,并且为此使用了许多不同的计算技术。但是这些技术本身并不是贝叶斯技术。要命名一些计算技术:

  • 马尔可夫链蒙特卡洛
    • 大都市-哈丁斯
    • 吉布斯抽样
    • 汉密尔顿蒙特卡洛
  • 变贝叶斯
  • 近似贝叶斯计算
  • 粒子过滤器
  • 拉普拉斯逼近
  • 等等...

谁将“贝叶斯”一词引入贬义语是著名的统计学家?

据说是罗纳德·费舍尔。该论文贝叶斯推理何时成为“贝叶斯”?给出了“贝叶斯”一词的历史。


2
噢,我记得您在安德鲁·盖尔曼(Andrew Gelman)博客上有关名人高处的帖子中!我期待阅读“ 46656贝叶斯品种”。谢谢您的答复!
Ellie Kesselman 2015年

2
很好!我喜欢你丢下“邪教”一词。我很犹豫,以免有人得罪。我的一些问题只是为了提示……最后,我试图了解统计信息,并且我很好奇要从内部理解二分法。
安东尼·帕雷拉达

1
评论:有很多东西被标记为“贝叶斯”,人们往往会混淆它们(在这个问答中确实如此!)。一个不完整的清单:贝叶斯脑假设(大脑基本上是在做贝叶斯统计),贝叶斯科学哲学,贝叶斯统计,贝叶斯概率论,进行贝叶斯统计的计算方法等。这些肯定与许多相关(例如贝叶斯) (概率和贝叶斯统计),但您不必全部购买!例如我认为贝叶斯脑非常值得怀疑,但是认为贝叶斯统计是一种有用和实用的技术
RasmusBååth2015年

1
很棒的帖子!但是,我不同意的一件事是您对“它们是否是一些精选的学术机构,您知道如果去那里,您将成为贝叶斯主义者?”的回答。题。如果您去杜克大学的统计部门,您将成为贝叶斯主义者。
TrynnaDoStat

2
伙计,如果我对在这里回答的每个问题都表示赞同,我将... 12赞:)
RasmusBååth2015年

25

贝叶斯主义者将概率定义为某些命题的合理性的数字表示。常客是将概率定义为代表长期运行频率的人。如果您仅对其中一个或多个定义感到满意,那么您就是贝叶斯或常客。如果您对两者之一满意,并为手头的任务使用最合适的定义,那么您就是统计学家!; o)从根本上讲,它可以归结为概率的定义,我希望大多数在职统计学家能够看到这两种方法的优缺点。

有人对崇高目标之间的鸿沟表示怀疑,并怀疑在选择先验分布时是否任意,或者最终使用了常识性数学。

怀疑主义也朝另一个方向发展。发明惯常主义是为了消除崇高的可能性和统计学思想。但是,主观性仍然存在(例如,在假设检验中确定适当的显着性水平),但是只是没有明确地表明主观性,或者常常只是忽略了主观性。


1
这我不明白。您可以将概率定义为代表长期运行的频率,但是只有在其P(H | O)高且只知道P(O | H)(p值)告诉您时,才相信假设。(如果您有足够的内省生活了足够长的时间,您可以直接
算出

2
频繁的人不能给P(H | O)赋值,因为特定假设的真相没有长期运行的频率,它是正确的,或者不是。结果,我们只能将概率附加到某些(可能是虚构的)实验中,从中得出实际观察到的结果,或者是在特定显着性水平下“拒绝H0”或“未能拒绝H0”。不幸的是,这两种方法都会产生误解的可能性,因为我们从测试中实际需要的正是P(H | O)。两种方法都有其用途,但是了解它们的局限性很重要。
迪克兰有袋博物馆,2015年

在数学的其他领域,从业者将自己束缚于哲学吗?无论如何,实际上,一次又一次地提出相同的问题。例如,“此人是否谋杀”。被告的唯一身份无关紧要(就像我们忽略特定骰子的物理细节一样)。鉴于每年发生数千起谋杀案(以及成千上万无辜的被告),任何情况都可能不止一次发生。决定某人的内t不是常客吗?然而,使用p值将是严重的不公正行为。
Aleksandr Dubinsky 2015年

21

例如,哥伦比亚大学统计学和政治学教授安德鲁·盖尔曼Andrew Gelman)是著名的贝叶斯主义者。

我怀疑大多数ISBA研究员可能也会认为自己是贝叶斯主义者。

通常,以下研究主题通常反映贝叶斯方法。如果您阅读有关它们的论文,那么作者可能会称自己为“贝叶斯”

  • 马尔可夫链蒙特卡洛
  • 变分贝叶斯方法(名称使之消失)
  • 粒子过滤
  • 概率编程

2
小提示:粒子过滤不仅适用于贝叶斯算法!我在伯克利大学(Berkeley)的一名教授的带领下工作,在该教授中,我们将粒子滤波器用于MCEM算法的E步骤。但是,是的,贝叶斯通常使用粒子过滤器。
悬崖AB

1
如果您要付出计算的代价,为什么不获得哲学上的一致性?
亚瑟·B.

8
盖尔曼并不是“硬核”。据我所知,他认为贝叶斯统计量实际上已经证明了其价值,并且他肯定对贝叶斯过程的频繁性感兴趣。
A. Donda

5
应该指出的是,马尔可夫链蒙特卡洛与贝叶斯统计不直接相关,同样,数值优化与最大似然估计不直接相关...
RasmusBååth2015年

3
我认为还值得注意的是,安德鲁·盖尔曼(Andrew Gelman)写道,他认为将一个人标记为“贝叶斯”或“常客”根本没有任何意义。但是,某些技术可能会如此标记。他认为,将统计学家任意分为一个阵营或另一个阵营会适得其反,因为这两种方法在不同的情况下都有不同的优点和缺点。
瑞安·西蒙斯

20

今天,我们都是贝叶斯主义者,但是除了这两个阵营之外,还有一个世界:算法概率。我不确定该主题的标准参考文献是什么,但是Kolmogorov有一篇关于算法复杂性的漂亮论文:AN Kolmogorov,“信息量”概念定义的三种方法,Probl。Peredachi Inf。,1965年,第1卷,第1期,第3-11页。我确定这里有英文翻译。

在本文中,他以三种方式定义信息量:组合,概率和(新)算法。组合直接映射到常客,Probabilist并不直接对应于贝叶斯,但与贝叶斯兼容。

更新:如果您对概率的哲学感兴趣,那么我想指出一个非常有趣的著作“ 科尔莫哥罗夫的Grundbegriffe的起源和遗产“是格伦·谢弗(Glenn Shafer)和弗拉基米尔·弗沃克(Vladimir Vovk)提出的。我们在科莫格洛夫(Kolmogorov)之前忘了一切,而在他的开创性工作之前,还有很多事情要做。另一方面,我们对他的哲学观点了解不多。通常认为他是例如,现实是他于1930年居住在苏联,在那里冒险进入哲学是非常危险的,从字面上讲,您可能会遇到生存上的麻烦,有些科学家确实这样做了(最终在古拉格监狱服刑)。 ,他被迫隐含地暗示自己是一名常客,我认为实际上他不仅是数学家,而且还是科学家,并且对概率论对现实的适用性有着复杂的看法。

Vovk还有另一篇关于Kolmogorov的随机性算法方法的论文:Kolmogorov对概率基础的贡献

Vovk创造了一种概率论的博弈论方法-也非常有趣。

P(B|E)BEP(E|B)

在此处输入图片说明

更新3:

我还想指出Kolmogorov的原始作品中由于某些原因(或者很容易被人们遗忘)而鲜为人知的某些东西。他专论了将理论与现实联系起来。特别是,他为使用该理论设定了两个条件:

  • 答:如果您重复进行多次实验,则发生频率与概率之间的差异很小,实际上可以肯定
  • B.如果概率很小,那么如果您只进行一次实验,那么您几乎可以确定该事件不会发生

对这些条件有不同的解释,但是大多数人会同意这些不是纯粹的常客主义者的观点。柯尔莫哥洛夫宣称他在某种程度上遵循了冯·米塞斯的做法,但他似乎表示事情并不像看起来那样简单。我经常想到条件B,但无法得出一个稳定的结论,每次我想到它时,它都会略有不同。


2
您的第一个超链接是您想要的吗?
安东尼·帕雷拉达

3
@AntoniParellada,这本来是个玩笑:)
Aksakal

完全超出了我的脑袋...考虑到超链接讨论的愚蠢本质,这可能很有趣...很抱歉,我没有看到它...
Antoni Parellada

1
“麦凯恩格鲁吉亚总统:‘今天,我们都是格鲁吉亚人’哈哈,这是有趣的。
深北


17

我所知道的最“硬核”贝叶斯是1998年去世的Edwin Jaynes。我希望在他的学生中会发现更多的“硬核”贝叶斯,尤其是他的主要著作《概率论:科学逻辑,拉里·布雷特霍斯特(Larry Bretthorst)。其他著名的历史贝叶斯主义者包括Harold JeffreysLeonard Savage。尽管我没有对该领域的完整概述,但我的印象是,贝叶斯方法(特别是在机器学习中)的近来流行不是由于深厚的哲学信念,而是在许多实践中证明贝叶斯方法有用的实用立场应用程序。我认为典型的职位是安德鲁·盖尔曼Andrew Gelman)


听起来有点像个浪漫的主意。诺曼·洛克威尔的统计数据?
安东尼·帕雷拉达

1
@AntoniParellada,我不知道你的意思是……
A. Donda

2
我也想到了Jaynes和Jeffreys。一篇很棒的文章是“我们站在最大熵的什么位置?”
尼尔·G

2
嗯,我一直认为Jaynes对贝叶斯非常实用。
RasmusBååth'15

8

我不知道贝叶斯是谁(尽管我想我应该对此有一个先验分布),但是我知道他们不是谁。

用已经离开的著名贝叶斯DV Lindley的话来说,“没有人比经验贝叶斯少。” 贝叶斯方法的经验贝叶斯部分:社会和行为科学方法,第二版,杰夫·吉尔(Jeff Gill)。我的意思是说,即使是“常客”,也要思考哪种模型才有意义(某种形式的模型选择构成先验),而不是经验主义的贝叶斯主义者,他们对所有事情都完全机械化。

我认为,在实践中,高级梯队贝叶斯主义者和频繁主义者所做的统计分析结果没有太大差异。令人恐惧的是,当您看到一位素质很低的统计学家,试图以绝对的意识形态纯洁性强硬地塑造自己(从未与女性观察到)后,以完全像他认为的榜样那样进行分析,但是却没有这样做。榜样的思想和判断能力。这可能会导致非常糟糕的分析和建议。我认为在贝叶斯主义者中,超硬核心但质量低下的意识形态要比常问者更为普遍。这尤其适用于决策分析。


1
指出幽默的一些刚性是很高兴的。Ty
Antoni Parellada 2015年

6

对于任何人来说,我可能对这个讨论来说太迟了,但是我认为没有人指出贝叶斯方法与频率论方法之间最重要的区别是贝叶斯方法(主要是使用方法)这一事实是令人遗憾的。尊重似然原理,而常客几乎总是不这样做。似然原理说,与感兴趣的统计模型参数有关的证据完全包含在相关似然函数中。

关心统计理论或哲学的常客应该更多地关注关于似然性原理有效性的争论,而不是关于频率和概率的部分信念解释之间的区别以及在先概率的可取性的争论。虽然可能对概率进行不同的解释而没有冲突地共存,并且某些人选择提供先验而不要求其他人这样做,但如果可能性原则在肯定或规范意义上是正确的,则许多惯常论方法会失去其主张。达到最佳状态。对似然性原理的频繁攻击是强烈的,因为该原理破坏了他们的统计世界观,但是大多数攻击没有兑现其标记(http://arxiv.org/abs/1507.08394)。


4

您可能认为自己是贝叶斯主义者,但您可能错了... http://www.rmm-journal.de/downloads/Article_Senn.pdf

贝叶斯在给定先验信念/先验信息的情况下得出感兴趣结果的概率分布。对于贝叶斯来说,大多数人都会对此分布(及其摘要)感兴趣。与典型的“频率”结果对比,该结果告诉您在假设无效的情况下,看到结果的可能性比观察到的结果还要极端( p值)或感兴趣参数的区间估计值,如果您可以进行重复采样(置信区间),则其中95%将包含真实值。

贝叶斯先验分布是有争议的,因为它们是您的先验。没有“正确”的先验。大多数务实的贝叶斯主义者都在寻找可以用于先验的外部证据,然后根据对特定案例的“合理”预期,对其进行打折或修改。例如,怀疑的先验案例在无效案例中可能具有“整体性”概率-“数据需要多少才能使我改变主意/改变目前的做法?” 大多数人还将关注对不同先验的推断的鲁棒性。

有一组贝叶斯人研究“参考”先验,使他们能够构建不受先验信念“影响”的推论,因此他们获得具有“频率论”性质的概率陈述和区间估计。

还有一群“铁杆贝叶斯主义者”可能主张不选择模型(所有模型都是错误的),并且可能认为探索性分析势必会影响您的先验知识,因此不应该这样做。虽然很少那么激进...

在大多数统计领域中,您都可以找到贝叶斯分析和从业人员。就像您会发现某些人更喜欢非参数...


2
阅读您的文章后,我认为我对贝叶斯统计数据的了解会更好。我想知道您是否可以将其与实际问题联系起来,将其包装成一个出色的答案...正是根据贝叶斯人这一行,他们是一群有名字的人,或者是因偏爱贝叶斯方法而闻名的数学系。统计信息等
安东尼·帕雷拉达

1
现在和过去都有许多个人和学术部门都喜欢贝叶斯统计。很难特别挑出任何一个。如果您有更多的兴趣,那么我建议您查看ISBA bayesian.org
MikeKSmith,2015年

1
需要注意的几个名称:唐·贝里,吉姆·伯杰,戴维·德雷珀,梅里斯·克莱德,迈克·韦​​斯特,戴维·斯皮格尔哈特,彼得·托尔……
MikeKSmith 2015年

是的,其他人发布了链接,实际上我浏览了按字母顺序排列的列表以查找模式...我找不到任何模式,这并不奇怪,因为我不是统计学家。我想这个想法可以归结为:贝叶斯是人们喜欢声称遵循的崇高,纯粹的想法,还是(仍然)是一种定义明确的,日常实践的应用统计方法,与频频主义形成鲜明对比-后者一个听起来不太“性感”的名字,但可能更实用吗?
安东尼·帕雷拉达

1
在回答您的最后一个问题时,两者都是。这绝对是一种哲学方法。它补充了说我们观察什么(先验信息),假设,实验,综合和更新我们的当前知识的科学方法,这将成为明天的先例。但这也是一种统计分析方法,可以应用于个案。
MikeKSmith,2015年

4

关于贝叶斯/频率论方法和认识论立场之间的联系,我只是想回答您的最后一个问题(因此,我没有获得奖项!),我遇到的最有趣的作者是黛博拉·梅奥。一个很好的起点是Mayo和Andrew Gelman(在这里以某种异端的贝叶斯主义出现)之间的2010年交流。Mayo随后在此处发表了对Gelman&Shalizi论文的详细回复。


2

此处列出了所有贝叶斯的子集,即那些烦恼发送电子邮件的贝叶斯人。


我在那儿找到两位自称为贝叶斯主义者的统计学教授。那么,这一定是一个很好的清单。
阿克萨卡(Aksakal)

1
@Aksakal我认为这更多地反映了统计学家来自不同背景的事实。如果标准是“在主要统计期刊上发表过论文的人”,那么不管他们所在部门的名字如何,这些名字中的几十个都可以算在内。
Glen_b

@Aksakal我不明白你的意思。该列表中的前5位中有2位(也许是3位)统计学教授。
jaradniemi

@jaradniemi,我回想起我的两位公开贝叶斯教授,然后在列表中找到他们。这使我认为该列表可能具有代表性。
阿克萨卡族人

2

我会称布鲁诺·德·芬内蒂(Bruno de Finetti)和LJ萨维奇·贝叶斯(LJ Savage Bayesians)。他们致力于其哲学基础。


10
自从De Finetti(注意拼写)于30年前逝世,而Savage于44年前逝世以来,除非他们以某种方式成为僵尸并以假名出版,否则几乎不能被认为是回答“今天的贝叶斯是谁?”。
ub

@whuber ...(从外部)听起来更像是一个好主意,类似于将自己视为基于证据的想法,并根据先验和收集的证据不断更新我们对世界的看法。贝叶斯作为认识论……而不是严格遵循一套“不同的”统计技术。……
Antoni Parellada

0

为了理解频频主义者和贝叶斯主义者之间的基础性辩论,很难找到比布拉德利·埃夫隆(Bradley Efron)更权威的声音。

这个话题一直是他在职业生涯中多次接触的主题,但我个人认为他的较早论文之一很有帮助:《统计基础》中的争议(该论文因获得了杰出的文摘奖而获奖)。

By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.