客观与主观贝叶斯范式


12

客观和主观贝叶斯范式之间有什么区别?
它们对哪些对象或过程的定义或解释不同?
他们选择的方法有什么不同吗?


1
+1我的印象-并不是一个真正的权威-是作为“客观的”贝叶斯倾向倾向于与自动配方相关联以查找像杰弗里的先验之类的先验,而“主观的”贝叶斯定律则让他们的私人信仰决定先验的选择。也可能是这种情况-但我对此不太确定-对于前一组,人们更有可能看到有关“真实”参数以及某些估计量是否“接近”的讨论。
克里斯多夫·汉克

1
@ChristophHanck,谢谢您的投入。我希望有人懂行的可以放在一起很好地总结/概述,并张贴作为一个答案,那么我们将看到你的观点如何融入其中的。
理查德·哈迪

1
我对目标是指经验性的(从ARD / SBL之类的数据中学习)还是目标,也就是对频频的结果具有相同的结果感到困惑。
boomkin

1
@boomkin,AFAIK有一些流派,将自己归类为“主观贝叶斯”和“客观贝叶斯”。我想知道他们的主要思想以及前者和后者之间的区别。事先从数据中学习是两者可能会有所不同的一个特征。
理查德·哈迪

2
+1,但我发现最好不要使用“贝叶斯”一词作为名词化的形容词。形容词“贝叶斯”将方法分类,而不是人员分类。将统计学家置于一种错误的二分法中,“好像一个人只坚持一种思想之中,只有几种思想中只有一种思想”,这可能会难以回答这个问题。这可能是一个棘手的问题,无法回答,因为它最初是“错误地”陈述的(使用关于贝叶斯存在的错误前提)。
Sextus Empiricus

Answers:


3

这是一个非常令人困惑的话题,主要是由于在这些讨论中通常使用两种不同的方式来使用“主观主义”的概念。 有一类“主观主义”植根于专家的事先启发,这一事实更加令人困惑,而且这种特殊的变化必须仔细地纳入范式的哲学分类中。我将通过阐明通常解释“主观主义”的不同方法,然后在贝叶斯主义者之间达成广泛的共识领域以及在哲学和实践方法上存在分歧的领域,来试图使这一问题更加清晰。我希望会有其他人不同意我对此的看法,但是我希望这为进行清晰讨论提供了良好的起点。


弱主观主义:在这种解释中,术语“主观”的含义较弱,仅意味着概率封装了主体的理性信念。(一些人,例如我自己,更喜欢使用“流行病学”这个概念,因为它实际上并不需要严格意义上的主观性。)

强主观主义:在这种解释中,术语“主观”的含义更强,意味着弱主观主义成立,此外,主体的信念缺乏任何外部的“客观”理由(即,两个或更多个不同的主体都可以持有不同的称呼)信念,并且没有人会比其他人或多或少被认为是错误的)。


在贝叶斯分析中,通常情况是所选抽样分布具有客观的道理,植根于对抽样机制的某种理解。但是,除了样本数据外,几乎没有与该参数有关的任何可用信息。这引起了贝叶斯统计中的三个广义范式,它们对应于确定先验分布的不同方式。

主观贝叶斯范式:该范式与弱主观主义相吻合,并且进一步认为,任何概率信念集都是同等有效的。只要受试者对新数据使用贝叶斯更新,就可以使用任何先前数据。在这种范式下,先验不需要任何客观理由。在此范例中,重点是公开使用的先验信息,然后说明如何使用新数据进行更新。这种方法通常包含敏感性分析,以显示在一系列先验信念下的后验信念。

客观贝叶斯范式:这种范式也与弱主观主义相吻合,但更倾向于额外地约束先验信念(在包含任何数据之前),以使它们客观地“不提供信息”该参数。在这种范例中,先验被认为可以准确地反映出数据之外缺乏与参数有关的可用信息。这通常需要采用一些关于如何设置先验的理论(例如,Jeffrey's,Jaynes,Bernardo参考先验等)。该范式认为,如果一组概率信念基于客观的先验信念,则它是首选的确定并且对所关注问题中的参数无益。它同意,任何概率性信念集合都与贝叶斯分析所依据的合理性标准一致,但是认为基于“不良”先验的信念(对未知参数的信息过多)比基于“良好”先验的信念更糟糕。在这种范例中,先验是从一些非信息类中选择的,然后用新数据进行更新,以客观地解决问题。

专家优先贝叶斯范式:这种方法通常被视为主观范式的一部分,通常不会单独识别,但我认为它是一个单独的范式,因为它具有每种视图的要素。这种范式与弱主观主义相吻合,但是像客观贝叶斯范式一样,它并不认为所有先验都是同等有效的。该范例将当前的“先验”视为以前的生活经验的后继者,因此认为主题专家的先验信念优于非专家的先验信念。它还认识到这些信念可能是基于尚未系统记录的数据,并且不是基于概率论的系统使用,因此无法将这些现有专家先验分解为原始的非信息先验和数据这位专家观察到的。(的确,在没有系统地使用概率论的情况下,当前的专家“先前”甚至可能与贝叶斯更新不一致。)在这种范式中,专家的当前“主观”观点被视为是对主题知识的有价值封装。被视为原始先验。在此范式中,分析人员试图通过对先验信念的测试来引出先验专家,然后将先验公式化为最适合该专家信念的模型(注意确保专家知识不会被当前知识所污染。数据)。因此,专家的“主观”信念被视为来自先前数据的主题知识的“客观”封装。在此范例中,专家目前的“主观”观点被视为对主题知识的宝贵封装,被视为原始先验。在此范式中,分析人员试图通过对先验信念的测试来引出先验专家,然后将先验公式化为最适合该专家信念的模型(注意确保专家知识不会被当前知识所污染。数据)。因此,专家的“主观”信念被视为来自先前数据的主题知识的“客观”封装。在此范例中,专家目前的“主观”观点被视为对主题知识的宝贵封装,被视为原始先验。在此范式中,分析人员试图通过对先验信念的测试来引出先验专家,然后将先验公式化为最适合该专家信念的模型(注意确保专家知识不会被当前知识所污染。数据)。因此,专家的“主观”信念被视为来自先前数据的主题知识的“客观”封装。然后将先验公式化为最适合该专家信念的对象(注意确保专家信念不受当前数据知识的污染)。因此,专家的“主观”信念被视为来自先前数据的主题知识的“客观”封装。然后将先验公式化为最适合该专家信念的对象(注意确保专家信念不受当前数据知识的污染)。因此,专家的“主观”信念被视为来自先前数据的主题知识的“客观”封装。

方法的差异:就方法而言,客观贝叶斯范式与主观范式在前者约束可允许先验(仅限于唯一先验或非常小的一类相似先验)方面有所不同,而后者并不约束可允许先验先验。在客观贝叶斯方法中,先验受到表示“非信息”先验的理论的约束。该专家之前范式采取了不同的做法,而是确定一个或一个以上的人是专家,并引起他们的先验信念。


一旦我们了解了贝叶斯统计中不同范式的这些不同含义,就可以确定一些达成广泛共识的领域以及存在分歧的领域。实际上,尽管方法不同,但在基础理论上却比通常所认可的要多。

关于弱主观主义的广泛共识:在贝叶斯统计中有大量文献表明,概率的“公理”可以源自与理性决策有关的初步愿望。这包括与动态信念一致性有关的论点(例如,参见Epstein和Le Breton,1993年),对荷兰的书定理具有吸引力的论点(例如,参见Lehmann,1955年Hajek,2009年)。)。所有这些范式的贝叶斯主义者都广泛认为,概率应该从认识论上来解释,因为它指的是主体的信念,受概率公理中固有的合理性约束的约束。我们同意,应该使用概率规则来约束关于不确定性的信念是理性的。这意味着关于不确定性的信念需要面对新数据进行贝叶斯更新,但是它并不施加任何进一步的约束(即,没有更多的约束,它并不表示任何先验比其他先验要好)。以上三个范式都同意这一点。

人们一致认为后验者倾向于收敛更多的数据:贝叶斯统计中有许多一致性定理表明,如果您有两个具有相同似然函数但先验条件不同的人,那么他们的后验信念将随着您得到的更多而收敛。和更多数据。 这意味着对于大量数据而言,先验关系不大。这些是不可否认的概率定理,以上三个范式都对此表示同意。因此,通常认为,在大量数据的情况下,这三种范式中的任何一种都可能给出相似的结果。因此,当我们只有少量数据时,范式中的差异最为重要。

大家普遍同意,如果要使用先验,可以使用大致 “客观”的规则:贝叶斯统计中存在大量文献,这些文献显示了如何开发“非信息性”先验,该先验大致由采样问题决定,并大致封装了对所讨论参数缺乏很多知识的情况。我之所以说“大致”,是因为这里存在一些相互竞争的理论,这些理论有时会相对应,但有时会略有不同(例如,杰弗里,杰恩斯,参考先验,不精确先验的Walley类,等等),并且还会出现一些棘手的悖论。这里最困难的问题是,很难对可以进行非线性变换的连续参数先进行“非信息性”处理(因为理想情况下,“非信息性”应不变于变换)。同样,这些都是概率定理,所有范式都与它们的内容一致。客观贝叶斯主义者倾向于认为该理论足够好,可以给出优越的先验条件,而主观贝叶斯理论和专家优先的贝叶斯主义则倾向于认为该理论不足以确立这些先验条件的优越性。换句话说,人们普遍认为这些客观规则存在并且可以使用,但是对于它们的优劣却存在分歧。

对于单一答案的重要性存在分歧:客观的贝叶斯动机受偏好的启发,即具有固定数据和固定似然函数的统计问题应导致唯一确定的后验信念(或至少少数可允许的后验信念)差异很小)。对于具有固定的客观条件集时产生唯一答案的科学程序,此偏好通常是更广泛偏好的一部分。相反,主观贝叶斯方法和专家优先贝叶斯方法都认为这并不是特别重要,他们通常认为,将焦点放在唯一确定的后验上实际上是一种误导。

人们普遍同意,公众对贝叶斯后验者不熟悉:所有范例都同意,公众对贝叶斯分析从先验到后验的转变的基本原理并不熟悉。客观的贝叶斯主义者有时担心,对后验给出多个允许的答案会使人们感到困惑。贝叶斯主观主义者担心,对后验不能给出多个允许的答案会误导人们。


值得注意的是,这里对“主观主义”的困惑源于认识论中一般的错误二分法在“主观主义”与“内在主义”之间的特定实例(参见例如Piekoff)。在尝试解释概率时,许多用户犯了一个错误,即认为对概率的偶然性理论的任何拒绝必然导致在这里指定的更强烈意义上的“主观”解释。为了正确理解概率解释,了解主观主义-内在主义二分法的普遍问题,并因此认识到存在客观的认知解释是一个好主意。

此结果需要一些宽泛的规则性条件(例如,两个受试者都有包括真实参数值在内的先验支持),但它的适用范围非常广泛。


谢谢您这么大胆的回答!因此,看起来先验是分歧的主要根源。是吗 在概率的定义/解释上是否存在分歧/差异?或参数是随机变量意味着什么?我忘了在OP中包含此名称,但是您是否可以包含一些可以或多或少清楚地分配给给定范例的名称?我知道并非所有的统计学家都可以放在一个盒子或另一个盒子里,但是每个阵营中一定要有一些开国元勋或现任奉献者。
理查德·哈迪

意见分歧的根源肯定在于客观推断的可取性/不合意性(即,唯一或接近唯一),以及构成“良好”先验的范围。我认为在解释概率或随机变量的含义上没有更广泛的分歧。以我的理解,几乎所有贝叶斯主义者都同意对认知的解释。由于该范式的大多数基础是在定理中设定的,因此在有效性上没有分歧的余地,唯一的分歧在于不同方法的价值和合意性。
本-恢复莫妮卡

有关所有内容的概述,请参见“圣经”(Bernardo和Smith,2001年,贝叶斯理论)。贝叶斯主观范例-参见例如Savage,Lindley,Goldstein。客观贝叶斯范式-参见例如Bernardo,Berger,Jaynes,Jeffreys。专家意见范式-作家的折衷组合,但也许看到例如Choi,Sun。同样值得阅读Walley的不精确贝叶斯分析,该分析使用固定的先验类,并且有效地属于客观类。
本-恢复莫妮卡

非常感谢你!我很幸运得到你的支持。
理查德·哈迪

3
+1好答案。似乎缺少的一件事是对“经验贝叶斯”方法的一些提及,其中先验是根据数据本身估算的。我认为这应该与您的主观先验,客观(又是非信息性)先验和专家先验一起是一个单独的类别。
变形虫说莫妮卡(Monica)恢复
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.