贝叶斯与频频主义者的辩论是否有任何数学基础?


67

它在Wikipedia上说:

数学[概率]在很大程度上与概率的任何解释无关。

问题:那么如果我们想在数学上是正确的,我们是否不应该拒绝对概率的任何解释?即,贝叶斯主义和频繁主义在数学上都是错误的吗?

我不喜欢哲学,但是我喜欢数学,并且我想只在Kolmogorov公理的框架内工作。如果这是我的目标,应该从它说在维基百科上,我应该拒绝遵循双方贝叶斯和frequentism?如果这些概念纯粹是哲学上的而不是数学上的,那么为什么它们首先出现在统计学中?

背景/上下文:
这篇博客文章并没有说同样的话,但是它确实认为,从实用主义的角度来看,将技术归类为“贝叶斯”或“频率论者”是适得其反的。

如果Wikipedia的引用是正确的,那么从哲学的角度来看,试图对统计方法进行分类似乎也适得其反-如果一种方法在数学上是正确的,则当基础数学的假设成立时使用该方法是有效的否则,如果在数学上不正确或假设不成立,则使用它无效。

另一方面,尽管我不太确定为什么,但很多人似乎都用概率论(例如,柯尔莫哥洛夫的公理)来识别“贝叶斯推论”。贾恩斯(Jaynes)关于贝叶斯推理的论着称为“概率”(Probability),以及詹姆斯·斯通(James Stone)的书“贝叶斯规则”(Bayes'Rule)。因此,如果我以表面价值来接受这些主张,那意味着我应该更喜欢贝叶斯主义。

但是,Casella和Berger的书似乎是常客,因为它讨论了最大似然估计量,却忽略了最大后验估计量,但似乎其中的所有内容在数学上都是正确的。

那么,难道不是只能从统计学上说,统计学上唯一正确的版本是对贝叶斯主义和频繁主义完全不知情的统计吗?如果两种分类的方法在数学上都是正确的,那么在某些情况下偏爱某些方法不是不正确的做法,因为这将使模糊,定义不清的哲学优先于精确且定义明确的数学吗?

简介:简而言之,我不了解贝叶斯与常客辩论的数学基础是什么,并且如果没有辩论的数学基础(这是维基百科所声称的),我也不明白为什么在容忍中全部在学术话语中。



1
@PeterMortensen在问这个问题之前,我已经看到了这个问题。但是,该问题的答案并未解决我的主要困惑,即两者之间存在什么数学差异;请记住,我对哲学差异不感兴趣,因为它们不应该影响可能的模型空间。
Chill2Macht

1
评论不作进一步讨论;此对话已转移至聊天
ub

4
贝叶斯的辩论较少涉及概率,而更多地涉及统计解释及其应用的有效性。
RBarryYoung '16

2
@Mehrdad这个问题不是关于给出不同答案的不同方法,而是关于通过数学公理形式化贝叶斯主义和常识主义之间的区别的可能性。链接到的问题的答案不能解释这两种方法之间的公理差异。
Chill2Macht

Answers:


14

概率空间和柯尔莫哥洛夫公理

根据定义,概率空间是三元组,其中是一组结果,是代数和的子集是满足Kolmogorov公理的概率度量,即是从到的函数,因此,对于不相交的,它认为Ω ˚FPΩ ˚F σ Ω P P ˚F [ 0 1 ] PΩ = 1 Ë 1ë 2... ˚F P Ĵ = 1个 Ë Ĵ = Σ Ĵ = 1 PE jP(Ω,F,P)ΩFσΩPPF[0,1]P(Ω)=1E1,E2,FP(j=1Ej)=j=1P(Ej)

在这样的概率空间内,对于两个事件,可以将条件概率定义为˚F Pë 1 | ë 2d Ë ˚F = PË 1ë 2E1,E2FP(E1|E2)=defP(E1E2)P(E2)

注意:

  1. 仅在上定义时才定义此“条件概率” ,因此我们需要一个概率空间才能定义条件概率。˚FPF
  2. 概率空间非常笼统定义(组,一个 -代数和一个概率测度),唯一的要求是,某些性能应满足但除此之外这三个要素可以是“任何东西”。σ ˚F PΩ σFP

可以在此链接中找到更多详细信息

贝叶斯规则在任何(有效)概率空间中均成立

根据条件概率的定义,它还认为。从后两个方程式中我们可以找到贝叶斯定律。因此,贝叶斯规则(根据条件概率的定义)在任何概率空间中保持(以示明,从每个方程式导出和并等价它们(它们相等,因为相交是可交换的))。 PË1ë2PË2ë1P(E2|E1)=P(E2E1)P(E1)P(E1E2)P(E2E1)

由于贝叶斯规则是贝叶斯推理的基础,因此人们可以在任何有效(即满足所有条件,即柯尔莫哥洛夫公理)概率空间中进行贝叶斯分析。

概率论的频繁定义是“特殊情况”

上面说的是“一般”,也就是说,只要是子集上的代数,我们就没有特定的,,和满足柯尔莫哥洛夫公理。˚F P ˚F σ Ω PΩFPFσΩP

现在,我们将证明的“频繁”定义可以满足Kolomogorov的公理。如果真是这样,那么“惯常”概率只是科摩莫罗夫的一般概率和抽象概率的特例。 P

让我们举个例子,掷骰子。那么所有可能结果的集合就是。我们还需要一个代数这套和大家集合的所有子集的,即。Ω = { 1 2 3 4 5 6 } σ Ω ˚F Ω ˚F = 2 ΩΩΩ={1,2,3,4,5,6}σΩFΩF=2Ω

我们仍然必须以一种频繁的方式定义概率测度。因此,我们将为,其中是卷骰子中获得的的数量。与相似,...。PP({1}) n11nP{2}P{6}P({1})=deflimn+n1nn11nP({2})P({6})

这样,为所有单例定义了。对于任何其他集合,例如我们以一种频繁使用的方​​式定义,即 ,但是根据“ lim”的线性,它等于,这意味着Kolmogorov的公理成立。˚F ˚F { 1 2 } P{ 1 2 } P{ 1 2 } d Ë ˚F = LIM Ñ + Ñ 1 + Ñ 2PFF{1,2}P({1,2}) P{1}+P{2}P({1,2})=deflimn+n1+n2nP({1})+P({2})

因此,概率论的频繁定义只是科洛莫哥洛夫对概率测度的一般和抽象定义的特例。

请注意,还有其他方法可以定义满足Kolmogorov公理的概率测度,因此,常客主义定义不是唯一可能的定义。

结论

柯尔莫哥洛夫公理系统中的概率是“抽象的”,没有实际意义,只需要满足称为“轴心”的条件。仅使用这些公理,Kolmogorov就能得出非常丰富的定理。

概率论的概率论定义充满了公理,因此用一种以概率论方法定义的概率代替了抽象的“无意义”,所有这些定理都是有效的,因为“概率论”只是一个特殊的Kolmogorov抽象概率的情况(即,它满足了公理)。P

贝叶斯规则是可在Kolmogorov的一般框架中得出的属性之一。正如它在一般和抽象框架中所具有的那样,在特定情况下,它也将以概率论的方式定义概率(因为概率论的定义满足了公理,而这些公理是唯一需要做的事情)推导出所有定理)。 因此,可以使用概率的频繁定义来进行贝叶斯分析。

用频繁的方式定义并不是唯一的可能性,还有其他定义方式可以使其满足Kolmogorov的抽象公理。在这些“特殊情况”下,贝叶斯规则也将成立。因此,也可以使用频率论概率定义进行贝叶斯分析P

编辑23/8/2016

@mpiktas对您的评论的反应:

如我所说,集合和概率测度在公理系统中没有特殊含义,它们是抽象的。 PΩ,FP

为了应用该理论,您必须给出进一步的定义(因此,您在注释中所说的“无需进一步混淆一些奇怪的定义”错误的,您需要其他定义)。

让我们将其应用于抛掷公平硬币的情况。Kolmogorov理论中的集合没有特别的意义,它只不过是“集合”。因此,在公平硬币的情况下,我们必须指定此组合的含义,即必须定义。如果我们表示头H和尾为T,则该组是通过定义ΩΩΩ Ω=def{H,T}

我们还必须定义事件,即 -algebra。我们定义为。很容易验证是代数。σFF=def{,{H},{T},{H,T}}Fσ

接下来,我们必须为每个事件定义其度量。因此,我们需要在从定义一个映射。我将以惯常的方式定义它,对于一个公平的硬币,如果我扔很多次,那么正面的比例将是0.5,因此我定义了。同样,我定义,和。需要注意的是是从地图在,它满足柯尔莫哥洛夫公理。EFF[0,1]P({H})=def0.5P({T})=def0.5P({H,T})=def1P()=def0PF[0,1]

有关概率论的常用定义的参考,请参见此链接(在“定义”部分的末尾)和此链接


10
也许有人应该注意到,关于概率解释的常客/贝叶斯辩论,以及关于统计推断的常客/贝叶斯辩论。这是两个不同的(尽管相关)辩论。这个答案只讨论第一个答案,这很好(我想@William在这里很感兴趣,因为他选择接受这个答案),但是其他大多数答案大多都在谈论第二个答案。这只是给未来读者的笔记,也是给威廉的笔记。
amoeba

2
我之所以投反对票,是因为这里没有提到“频率概率”的定义,没有它,该帖子就没有意义。例如,给定的 定义在数学上甚至都不正确,因为该定义取决于个骰子的限制。数学对象是抽象的,不依赖于物理对象。此外,证明极限存在,你需要构建一个概率空间,其中随机变量定义,那就证明它收敛,为此,你需要测量理论和...n n 1 / nP({1})nn1/n
mpiktas

2
概率的定义。因此,即使我们允许这样的定义,它也是循环的,即检查对象是否满足定义,您需要定义对象。我非常想获得使用该定义的教科书的引用,并尝试使用它来得出统计中所有常见的结果。
mpiktas

5
斯坦福概率解释百科全书中的这篇冗长而详细的文章包含有关频繁性的冗长而详细的部分,可能比您到Wikipedia的链接提供更好的参考(与Wikipedia不同,斯坦福百科全书是权威性的)。它清楚地表明,常客定义是否完全有意义,甚至确切地构成了常客定义,这是一个长达150年的持续辩论,您和@mpiktas似乎在评论部分重新制定了这一问题。
amoeba

2
@amoeba:我特别喜欢您的链接中的提醒,我们可以用各种方式来解释“概率”,这些方式与通常理解的概念(例如标准化长度)无关,并且仍然与Kolmogorov的公理保持一致。
Scortchi

66

统计不是数学

首先,我从统计中的评论中窃取@whuber的话不是数学吗?(应用在不同的上下文中,所以我在偷单词,而不是引用):

如果要用“化学”,“经济学”,“工程学”或任何其他使用数学的领域(例如家庭经济学)代替“统计”,那么您的论点似乎都不会改变。

所有这些字段都允许存在,并且只有通过检查哪些定理正确才可以解决问题。尽管Stats的一些答案不是数学?我不同意这一点,我认为很明显统计学不是(纯粹的)数学。如果您想做概率论,它是(纯)数学的一个分支,那么您实际上可能会忽略您所要求的所有辩论。如果您想将概率论应用到一些现实世界中的问题的建模中,则不仅需要数学框架的公理和定理,还需要更多东西来指导您。剩下的答案就是关于这一点。

“如果我们想在数学上是正确的,我们不应该拒绝对概率的任何解释”这一说法似乎也没有道理。将解释放在数学框架之上不会使数学错误(只要在数学框架中该解释不被认为是定理)。

辩论不是(主要)关于公理

尽管还有其他一些公理化*,但争论的焦点不是关于Kolmogorov公理的争论。忽略零度量条件事件的某些微妙之处,导致规则的条件概率等(我对此不够了解),Kolmogorov公理和条件概率暗示了贝叶斯规则,这一规则无人争议。但是,如果甚至不是模型中的随机变量(就数学意义而言,模型由概率空间或它们的家族,随机变量等组成),则当然不可能计算条件分布。没有人还质疑,如果正确计算出频率特性是模型的结果。例如,条件分布P X | Ý p Ý | θ p Ý ; θ p Ý | θ = p Ý ; θ θ θXP(XY)p(yθ)在贝叶斯模型中,通过简单地让定义概率分布的索引族,如果后者的所有都满足某些结果,它们也适用于前者中的所有。p(y;θ)p(yθ)=p(y;θ)θθ

辩论是关于如何应用数学

辩论(无论存在多少,**)都是关于如何决定为(现实生活中的非数学问题)建立什么样的概率模型,以及该模型的哪些含义与绘制(真实的)有关。 -生活)的结论。但是,即使所有统计学家都同意,这些问题仍然存在。要引用您链接到[1]的博客文章的内容,我们希望回答以下问题

我应该如何设计轮盘赌,让我的赌场赚钱?这种肥料会增加作物产量吗?链霉素能治愈肺结核吗?吸烟会导致癌症吗?该用户会喜欢什么电影?红袜队应与哪个棒球运动员签约?该患者应该接受化疗吗?

概率论的公理甚至不包含棒球的定义,因此很明显,“红袜队应该给棒球运动员X签约”并不是概率论中的一个定理。

注意有关贝叶斯方法的数学论证

有一些“数学论证”可以将所有未知数视为概率论,例如Jaynes所指的Cox定理((尽管我听说它存在数学问题,可能已经解决,但我不知道,请参见[2]和或(主观贝叶斯)野蛮方法(我在[3]中听说过,但从未读过这本书)证明了在某些假设下,理性的决策者将在各州具有概率分布并根据最大化效用函数的期望值来选择他的动作。但是,不能从任何数学框架中推论出红袜经理是否应该接受这些假设,或者我们是否应该接受吸烟导致癌症的理论,

脚注

*我还没有研究过,但是我听说de Finetti有一种方法,其中条件概率是原始的,而不是通过条件(无条件)测度获得的。[4]提到(贝叶斯主义者)何塞·贝纳多,何思·丹尼斯·林德利和布鲁诺·德·芬内蒂在一家舒适的法国餐厅之间就是否需要 additive进行了辩论。σ

**正如您链接到[1]的博客文章中所提到的那样,可能没有针对属于一个团队而鄙视另一个团队的每个统计学家的明确辩论。我听说它说我们今天都是务实的,无用的辩论已经结束。但是,根据我的经验,这些差异存在于例如某人的第一种方法是将所有未知数建模为随机变量,以及某人对频率保证的兴趣如何。

参考文献

[1] Simply Statistics,由Rafa Irizarry,Roger Peng和Jeff Leek撰写的统计博客,“我宣布了贝叶斯与频繁主义者为数据科学家进行的辩论”,2014年10月13日,http://simplystatistics.org/2014/10 / 13 /作为一名应用统计学家,我发现这些常客与贝叶斯主义者的辩论完全无关紧要/

[2]Dupré,MJ,&Tipler,FJ(2009)。严格的贝叶斯概率的新公理。贝叶斯分析,4(3),599-606。http://projecteuclid.org/download/pdf_1/euclid.ba/1340369856

[3] Savage,LJ(1972)。统计的基础。快递公司。

[4] Bernardo,JM巴伦西亚故事-有关贝叶斯统计的巴伦西亚国际会议起源和发展的一些细节。 http://www.uv.es/bernardo/ValenciaStory.pdf


13
+1,特别是针对“概率论公理甚至不包含棒球的定义”。
amoeba

5
@威廉:该参数不被认为是一个恒定的随机变量-这不是要推论或观察到的事实。问题是是否使用概率分布来表示关于参数真实值的认知不确定性。(频率分析仅表示使用概率分布进行的偶然数据生成过程。)
Scortchi

4
@威廉经典的蒙蒂音乐厅没有东西可以合理地解释为参数或数据,这是一个概率问题。仅当您想通过观看游戏节目的多个情节来估算(例如,en.wikipedia.org / wiki / Monty_Hall_problem#Variants中所述)的参数化变量的参数,贝叶斯/惯常方法才会发挥作用。作为贝叶斯主义者,我可能会把例如beta优先于并开始更新。这在计算机仿真中是否会很好地起作用,在很大程度上取决于计算机仿真如何选择。q qqqq
Juho Kokkala,2016年

8
我优先注意,我对在评论部分继续对此进行辩论不感兴趣,因为它(也不是本网站)根本不是辩论的地方。
Juho Kokkala '16

2
我完全同意“统计数据不是数学”。威格纳(Wigner)撰写了一篇名为“物理学中的数学不合理的有效性”的文章,该文章认为,既然数学的抽象世界与物理学的具体世界之间就没有内在联系。数学在描述物理方面如此出色地表现令人惊讶(也很棒)。我认为统计数据也是如此。我期待有人写“统计中数学的不合理效果”。我个人发现抽象数学在描述统计现象方面如此出色的表现令人惊讶。
aginensky '16

32

贝叶斯与频繁主义者辩论的数学基础非常简单。在贝叶斯统计中,未知参数被视为随机变量。在常客统计中,它被视为固定要素。由于随机变量是比集合中简单元素复杂得多的数学对象,因此数学差异非常明显。

但是,事实证明,在模型方面的实际结果可能令人惊讶地相似。以线性回归为例。具有无先验先验的贝叶斯线性回归导致回归参数估计的分布,其均值等于频繁线性回归的参数估计,这是最小二乘问题的一种解决方案,这甚至不是概率论中的问题。尽管如此,由于上述原因,用于得出相似解的数学却大不相同。

自然地,由于对未知参数数学属性(随机变量与集合元素)的处理有所不同,贝叶斯统计和频繁统计都在使用竞争方法似乎更有利的情况下受到打击。置信区间是一个很好的例子。不必依靠MCMC进行简单估算是另一回事。但是,这些通常更多是关于味觉的问题,而不是数学问题。


5
尽管常数是随机变量的特例,但我还是会得出结论,贝叶斯主义更为笼统。简单地将随机变量折叠为一个常数,就不会从贝叶斯函数得到频繁的结果。区别更加深刻。当您假设参数是未知常数时,研究的重点便是估计值,它是一个随机变量(因为它是样本的可测量函数),并且与参数的真实值有多接近,或以什么方式获得估算值,使其接近真实估算值。
mpiktas

6
由于估计值是一个随机变量,因此您不能通过忽略量度理论来研究它,因此我发现您的说法是,许多统计学家对量度理论表现出惊人的无知和轻视,这非常令人惊讶。您读过A. van der Vaart的《渐近统计》吗?我认为这本书是有关频繁出现的统计数据和测度理论特征的很好的概述。
mpiktas '16

3
另一方面,贝叶斯统计几乎立即得出参数的分布,然后问题是如何实际计算它(各种采样算法,Metropolis-Hastings等的大量研究)以及先验的重要性是什么。我对贝叶斯统计的研究不是很熟悉,所以我的概括可能有点不对。出于个人喜好,尽管我或多或少受过频频培训,但我不喜欢贝叶斯统计使用可用分布的有限子集...
mpiktas,2016年

3
它总是始于正态分布及其共轭,以及这能使您走多远。由于我处理的几乎所有数据都不是正态分布的,因此我立即感到怀疑,并且更喜欢使用与分布无关的方法。但是,这是个人喜好,我发现我在应用程序工作中还没有发现一个问题,即频繁使用的方​​法失败的幅度如此之大,以至于我需要转向贝叶斯方法。
mpiktas

4
“它总是始于正态分布及其共轭,以及它能带给您多远的……”-这就是为什么人们使用蒙特卡洛方法从后验参数分布中进行采样的原因;这些也适用于一般发行版(BUGS软件及其变体)。
约翰·唐恩

25

我不喜欢哲学,但是我喜欢数学,并且我想只在Kolmogorov公理的框架内工作。

在没有任何解释的情况下,您将如何单独精确地应用Kolmogorov公理?如何你解释概率是多少?您会对问您的人说:“您对概率的估计是什么意思?” 0.5您能否说结果是0.5,因为遵循公理是正确的吗?没有任何解释,您不能说这表明如果我们重复实验,我们期望看到结果的频率。您也不能说这个数字告诉您您对事件发生的可能性有多确定。您也无法回答这告诉您您相信该事件的可能性。您将如何解释期望值-将一些数字乘以其他一些数字并加在一起得出的总和是有效的,因为它们遵循公理和其他一些定理?

如果要将数学应用于现实世界,则需要对其进行解释。没有解释的数字就是...数字。人们不是计算期望值来估计期望值,而是要学习一些有关现实的知识。

此外,概率是抽象的,而我们将统计信息(和概率本身)应用于现实世界中的事件。以最基本的例子为例:一个公平的硬币。在常人的解释中,如果您多次投掷这样的硬币,那么您期望的正面和反面数目相同。但是,在现实生活中的实验几乎不会发生。因此,将概率与任何特定硬币投掷特定次数无关。0.5

概率不存在

-布鲁诺·德·芬妮蒂


3
“如果您多次投掷这样的硬币,那么您期望的正面和反面数目相同” –这是对大数定律的错误理解。请参阅Feller的《概率论及其应用入门》第一卷第三章。例如,在第67页中,“在普通硬币中,大多数硬币调整不当”。
Chill2Macht

1
@威廉,那么您对“ p = 0.5是什么意思”这个问题的回答是什么?其中p是抛硬币实验的概率估计值...?

1
您还引用了Feller提到“多数”的情况-如果您不对概率进行频繁的解释,这正是大多数。
蒂姆

7
过于简单化:从常人的观点来看,概率与可能发生的事件之间发生的事件的比例有关;贝叶斯理论中的解释是关于多少东西是可信的(请参阅en.wikipedia.org/wiki/Probability#Interpretations)。通过告诉我有关样本空间的信息等,您假设除了未来的一次抛硬币之外,还有其他事情-这是您概率的解释,因为只会进行一次抛硬币,因此有关样本空间的整个论点不适用于它。您的解释完全正确,但这是
蒂姆

5
解释。要将概率应用于现实世界,您需要做出此类解释。特朗普在2016年赢得美国大选的概率是多少?如果您不对概率进行假设,则无法回答该问题。

10

我对贝叶斯推理和常识性推理之间的对比的看法是,第一个问题是您想要概率的事件的选择。惯常论者假设您要证明的内容(例如,零假设),然后在该假设下计算观察到您已经观察到的事物的概率。在医学诊断中,这种逆向信息流动顺序概率与敏感性和特异性之间存在一个类比,这引起了巨大的误解,因此需要用贝叶斯法则来保全以取得前瞻性概率(“测试后概率”)。贝叶斯计算事件的概率,没有锚点(先验),绝对概率是不可能计算的。陈述正确性的贝叶斯概率与在某种不可知的假设下观察数据的频繁概率有很大不同。当常客必须调整已经进行或可能进行的其他分析(多重性;顺序测试等)时,差异更加明显。

因此,对数学基础的讨论非常有趣,并且是非常合适的讨论。但是,必须对前向概率与后向概率进行基本选择。因此,不完全是数学的前提条件是非常重要的。贝叶斯主义者认为,充分利用已掌握的知识是关键。常见的人更多地以简化数学的条件为条件。


9

我将其分解为两个独立的问题,并分别回答。

1.)鉴于在频率论者和贝叶斯学派看来,概率是什么的不同哲学观点,是否存在概率数学规则适用于一种解释而不适用于另一种解释?

不会。两组的概率规则完全相同。

2.)贝叶斯和惯常论者是否使用相同的数学模型来分析数据?

一般来说,没有。这是因为两种不同的解释表明研究人员可以从不同的来源获得见解。特别是,经常性框架通常被认为建议人们只能从观察到的数据推断出感兴趣的参数,而贝叶斯的观点则建议人们还应该包括有关该主题的独立专家知识。不同的数据源意味着将使用不同的数学模型进行分析。

这是值得注意的也有由两个阵营是更相关的什么所使用的模型之间的很多分歧已经不是什么已经做完成(即一个阵营传统上使用的许多模型可以被另一个阵营证明)。例如,传统上使用贝叶斯方法分析BUGs模型(使用Gibbs采样的贝叶斯推断,由于许多原因,该名称不再准确地描述模型集),主要是因为可以使用(JAG,例如斯坦(Stan)。但是,没有什么可以说这些模型必须严格是贝叶斯模型。实际上,我参与了NIMBLE项目,该项目在BUGs框架中构建了这些模型,但是为用户提供了更多关于如何推断它们的自由。尽管我们提供的绝大多数工具都是可自定义的贝叶斯MCMC方法,但对于这些模型,也可以使用传统的Frequentist方法即最大似然估计。同样,先验通常被认为是您可以对贝叶斯模型进行的处理,而对于贝叶斯模型则不能进行处理。但是,惩罚式估计可以使用正则化参数估计来提供相同的模型(尽管贝叶斯框架提供了一种更容易的方法来证明和选择正则化参数,而在很多数据的最佳情况下,频繁使用者仍然可以选择“这些正则化参数,因为在大量交叉验证的样本中,它们降低了估计的样本外误差”(无论好坏)。


1
我对这种说法有些反对:“特别是,经常性框架经常被认为建议人们只能从观察到的数据推断出感兴趣的参数,而贝叶斯的观点则建议人们还应该包括独立的专家知识。关于这个主题”。主要是因为无论出于何种原因,频频人员对有关该主题的独立专家知识都不感兴趣。频繁主义者和贝叶斯主义者之间的区别不在于前者顽固地拒绝使用先验知识或背景...(1/2)
瑞安·西蒙斯

1
...而是两个思想流派以不同的方式利用先验知识/上下文。您可能会争辩说,贝叶斯的观点采用了一种更原则性的方法来将先验知识直接纳入模型中(尽管我会争辩说,非信息先验的广泛使用反而会淡化此论点)。但是我认为将其描述为不使用该信息的常客问题是不公平的。(2/2)
瑞安·西蒙斯

1
@RyanSimmons:是的,这就是为什么我说“经常被认为是建议...”的原因。例如,如果研究人员观察到,从长远来看,围绕专家意见进行参数估计的正则化趋向于导致更好的预测,那么将其合并到“频率论”框架中就没有问题(“基于频率论的度量,这种增强的估计量会更好比纯数据估算器具有更长的运行特性”)。但这并不像贝叶斯框架那样简单。
悬崖AB

1
很公平!我同意。
瑞安·西蒙斯

5

贝叶斯主义者和频繁主义者认为概率代表不同的事物。经常有人认为它们与频率有关,并且仅在可能出现频率的情况下才有意义。贝叶斯认为它们是表示不确定性的方法。由于任何事实都不确定,因此您可以谈论任何事情的可能性。

数学上的结果是,频繁的主义者认为概率的基本方程式有时仅适用,而贝叶斯主义者则认为它们总是适用。因此,他们认为相同的方程式是正确的,但是在通用性上有所不同。

这具有以下实际后果:

(1)贝叶斯主义者将从概率论的基本方程式中得出他们的方法(贝叶斯定理只是其中的一个例子),而频率论者则发明了一种直观的即席即席方法来解决每个问题。

(2)有定理表明,如果您从不完整的信息中进行推理,则最好始终使用概率论的基本方程式,否则会遇到麻烦。许多人怀疑这样的定理有多有意义,但这是我们在实践中看到的。

例如,现实世界中看起来无辜的95%置信区间有可能完全由证明是不可能的值组成(来自用于得出置信区间的相同信息)。换句话说,惯常方法可能与简单的演绎逻辑相矛盾。完全从概率论基本方程派生的贝叶斯方法没有这个问题。

(3)贝叶斯严格比频率论更笼统。由于任何事实都可能存在不确定性,因此可以为任何事实分配概率。特别是,如果您正在处理的事实与现实世界的频率有关(无论是您预测的还是数据的一部分),那么贝叶斯方法就可以像对待任何其他现实世界的事实一样考虑和使用它们。

因此,频率论者认为他们的方法适用于贝叶斯方法的任何问题也可以自然地起作用。但是,相反的情况通常是不正确的,除非常客发明了将其概率解释为“频率”的诡计,例如,想象多个宇宙,或者发明假设性的重复直到无限,而这些重复从未执行过,而且通常在原则上不可能。


7
您能否提供一些对您提供的粗体语句的引用?例如“常客认为概率的基本方程式有时仅适用”?概率的基本方程式是什么?
mpiktas

6
您对置信区间包含不可能的值的评论比B对F辩论有趣得多。您能否给出或链接到仅包含不可能值的95%CI的特定示例?这可能是每个统计学家一生中应该至少见过一次的事情之一(作为警告的故事),但我没有。
文森特

9
CI可能包含所有“不可能的”值根本不会“与简单的演绎逻辑相矛盾”。这听起来像是对CI定义的误解-或可能是对CI的解释和可信区间之间的混淆。
ub

7
这似乎是一种哲学上的喧嚣,而不是对《任择议定书》问题的回答(严格地说,与哲学无关)。
悬崖AB

5
“有可能推断出,每个统计学家都会从一个配置项(没有配置项没有实际目的或与现实世界的接触)中得出的结论与可以从同一证据中推论得出的结论相矛盾”。这仍然丝毫不支持您的说法,即常客忽略了概率规则。而且恐怕这正沿着“贝叶斯与常客:战斗!”的通俗路线走下去。大多数读者宁愿避免。
悬崖AB

3

问题:那么如果我们想在数学上是正确的,我们是否不应该拒绝对概率的任何解释?即,贝叶斯主义和频繁主义在数学上都是错误的吗?

是的,这正是人们在科学哲学和数学领域所做的事情。

  1. 哲学方法。维基百科提供了概率的解释/定义的纲要

  2. 数学家并不安全。过去,科莫哥罗夫派(Kolmogorovian)垄断了概率:将概率定义为将1分配给整个空间的有限度量...这种霸权不再有效,因为在诸如概率自由概率


您了解放松随机变量可交换性假设的意思吗?(关于自由概率-我没有足够的QM来理解量子概率背后的思想)这是否意味着或?我想关于冯·诺依曼代数和代数的讨论暗示了后者。X Y Y X C X+YY+XXYYXC
Chill2Macht

7
@William代数不能正确地对大多数统计数据进行建模。(以此类推,复数的发明丝毫不影响自然数对现象的任何应用。概率的数学概念的任何可能的扩展都不会改变目前所理解的概率的应用方式。) ,这个答案令人困惑:关于概率的任何应用的唯一纯数学问题是其公理是否一致,并且可以通过简单模型轻松证明。C
whuber

2

贝叶斯/频率论者的辩论有许多根据。如果您在谈论数学基础,那么我认为没有太多。

他们俩都需要对复杂问题采用各种近似方法。两个示例是常客的“ bootstrap”和贝叶斯的“ mcmc”。

它们都带有如何使用它们的仪式/程序。一个常客的例子是“提出某种事物的估计量,并在重复采样下评估其性质”,而一个贝叶斯的例子是“以您所知道的为条件来计算您不知道的事物的概率分布”。以这种方式使用概率没有数学依据。

争论更多地是关于应用,解释和解决现实世界问题的能力。

实际上,人们经常在辩论“他们的一方”时使用这种方法,他们将使用“另一方”所使用的特定“仪式/程序”来争辩说应该将整个理论抛弃。一些例子包括...

  • 使用愚蠢的先验(而不是检查它们)
  • 使用愚蠢的配置项(而不检查它们)
  • 将计算技术与理论混淆(贝叶斯不是mcmc !!等同于将交叉验证与机器学习等同起来)
  • 用一种理论讨论特定应用的问题,而不是用另一种理论“更好”地解决特定问题

哈哈,是的,我认为这是真的。我不得不听一位教授讲了一个半小时的关于贝叶斯主义如何可怕的事情,因为主观地提出先验先验是没有意义的,而且我一直都在想:“嗯,这就是为什么你不会选择一个之前的方式”。我的观点是,我同意稻草人的论点比比皆是。
Chill2Macht

1

那么,难道不是只能从统计学上说,统计学上唯一正确的版本是对贝叶斯主义和频繁主义完全不知情的统计吗?如果两种分类的方法在数学上都是正确的,那么在某些情况下偏爱某些方法不是不正确的做法,因为这将使模糊,定义不清的哲学优先于精确且定义明确的数学吗?

不可以。无法感觉到情绪的个人在生物学上无法做出决定,包括似乎只有一种客观解决方案的决定。原因是理性的决策取决于我们的情感能力以及我们对认知和情感的偏好。尽管这很可怕,但这是经验性的现实。

Gupta R,Koscik TR,Bechara A,TranelD。杏仁核和决策。神经心理疾病。2011; 49(4):760-766。doi:10.1016 / j.neuropsychologia.2010.09.029。

偏爱苹果而不是橘子的人无法抗辩,因为这是一种偏爱。相反,一个喜欢桔子而不是苹果的人不能合理地辩护,因为这是一种偏爱。偏爱苹果的人经常会吃橘子,因为与橘子相比,苹果的价格太高了。

贝叶斯和频率论的争论,以及似然论和频率论的争论,大部分都围绕着理解上的错误。但是,如果我们假设我们有一个在所有方法上都受过良好训练的人,包括卡尔纳比概率或基准统计之类的次要方法或不再使用的方法,那么相对于其他工具,他们偏爱某些工具是很合理的。

理性仅取决于偏好。行为取决于偏好和成本。

从纯粹的数学角度看,一种工具可能比另一种工具更好,这是通过使用某些成本或效用函数定义的,但除非有唯一答案,即只有一种工具可以工作,否则成本和偏好要权衡。

考虑博彩公司考虑提供复杂投注的问题。显然,在这种情况下,博彩公司应使用贝叶斯方法,因为它们具有连贯性并具有其他良好的属性,但也可以想象该博彩公司仅具有计算器,甚至没有铅笔和纸。可能是这样的情况,该赌徒通过使用他的计算器并通过跟踪他脑海中的事物可以计算出频次解,而在地球上没有机会计算贝叶斯。如果他愿意冒险被“荷兰预订”,并且发现潜在成本足够小,那么使用“惯常方法”进行下注是合理的。

这是理性,你不可知的,因为你的感情偏好觉得这是对你更好。除非您相信所有人共享您的情感和认知偏好,否则该领域不可知论是不合理的,我们知道并非如此。

简而言之,我不了解贝叶斯与常客辩论的数学基础是什么,并且如果没有辩论的数学基础(这是维基百科所声称的),那么我根本不理解为什么会容忍它。学术话语。

学术辩论的目的是为新旧观念带来启发。贝叶斯与频率论的辩论以及似然论与频率论的争论大部分来自对思想的误解和草率。有些是由于未能说出自己的喜好。讨论一个没有偏见和嘈杂的估计器的优点与一个偏见和准确的估计器的优点的讨论是关于情感偏好的讨论,但是直到有人意识到这一点,在整个领域中,关于它的想法很可能仍然会变得混乱。

我不喜欢哲学,但是我喜欢数学,并且我想只在Kolmogorov公理的框架内工作。

为什么?因为比起Cox,de Finetti或Savage,您更喜欢Kolmogorov?那个喜好潜入吗?同样,概率和统计信息也不是数学,它们使用数学。这是修辞学的一个分支。要理解为什么这很重要,请考虑您的声明:

如果方法在数学上是正确的,则在基础数学的假设成立时使用该方法是有效的;否则,如果在数学上不正确或在假设不成立时,则使用该方法无效。

这不是真的。关于可信度区间有一篇不错的文章,滥用它们的引文是:

理查德·莫雷(Morey,Richard);Hoekstra,Rink;劳德,杰弗里;李,迈克尔;Wagenmakers,埃里克·简(Eric-Jan),在置信区间内置信的谬误,心理公报与评论,2016,Vol.23(1),pp.103-123

如果您阅读文章中不同的潜在置信区间,则每个在数学上都是有效的,但是如果您评估它们的属性,则它们之间会有很大的不同。的确,尽管提供的一些置信区间符合问题中的所有假设,但可以认为它们具有“不良”特性。如果从列表中删除贝叶斯间隔,仅关注四个频率间隔,则如果对间隔是宽还是窄或恒定进行更深入的分析,则您会发现这些间隔可能不等于”,尽管每个都满足假设和要求。

在数学上仅使其有用或替代地尽可能有用是不够的。同样,它在数学上可能是正确的,但有害。在本文中,当存在关于真实位置的信息量最少时,最精确的间隔是最窄的;当存在关于参数位置的完全了解或接近完美的知识时,间隔最宽。无论如何,它满足覆盖要求并满足假设条件。

数学永远是不够的。


我真的很喜欢第二篇文章。(第一篇文章的结论是我已经听说过的,以一种使我信服的方式进行了争论,因此对于我来说似乎没有必要阅读。)我大体上同意您的意见。公平地讲,当我说数学时,我更牢记“应用数学”的含义,以及对数学研究的主题和方向以及数学公理的选择旨在为观察模型建模的隐含理解。真实世界。另外,我认为第二篇文章与我的说法并不矛盾-作者采用了常见的谬论,短语
Chill2Macht

在数学上(即精确地,严格地)对它们进行编码,然后提供反例以表明它们是错误的。我想说的是(如果我几个月前正确地记住了我的意图),是因为如果您的“哲学”或“哲学思想”或其他内容无法用措辞/缩小为一个精确的表述,即明确表述,那就扔掉是没有用的。例如常客,出于模糊的原因在MLE(具有固定优先级的MAP)与其他类型的客观优先级之间进行区分-如果您的异议无法以数学公理的形式陈述,那么
Chill2Macht

首先没有充分理由提出异议,因为您的异议含糊不清,无法被证伪。在我看来,仅仅因为统计数据是“使用数学的”,并不意味着统计学家被认为比数学家更聪明。正如您所指出的那样,数学家一直争论着哪些数学公理“值得”或“有趣”,而这些公理最终仅基于情感偏好来考虑。但是,这些参数是实际上能够具有物质和向前移动字段,因为各边的位置是清楚的和unambiguous-
Chill2Macht

说得很对-例如,可以明确地说直觉主义者拒绝使用“排除中间定律”,而其他数学家则乐于使用它。还请注意有关选择公理的激烈辩论。但是,《排除中部定律》和《选择公理》都是精确的陈述,在给出其他精确假设的情况下,这些陈述可以被伪造,证明是可伪造的,被证明的(等等)(取决于其他假设)。即,我试图争论的是,“哲学” /“情感”仅应发挥作用,以表明对不同的明确/精确 公理的偏好。如
Chill2Macht

相比之下,有人说“先验是不好的”,并且没有给出他们认为推论应该满足的数学公理,并且从逻辑上证明选择先验可以违反。前者是没有用的,而后者则是建设性的,因为它为对手提供了一些具体的配合,例如,有机会提出另一种公理,对他们来说“对于这个问题似乎更合理”。这就是为什么我真的喜欢您链接的第二篇文章的原因,因为它确实做到了这一点-它“数学化”了CI的错误解释,并证明它们是错误的。
Chill2Macht
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.