贝叶斯主义者是否曾经争论过,在某些情况下他们的方法与惯常方法相提并论/重叠?


12

贝叶斯主义者是否曾经争论说他们的方法可以归纳为常人主义方法,因为人们可以使用非信息先验,因此可以恢复典型的常人主义模型结构?

如果确实使用过这种说法,谁能将我引到一个我可以阅读该论点的地方?

编辑:这个问题的措词可能不完全是我想表达它的方式。问题是:“是否有讨论使用贝叶斯方法和频繁主义者方法通过使用特定先验来重叠/相交/具有共同点的情况的讨论?” 一个例子是使用不适当的先验,但是我很确定这只是冰山一角。p(θ)=1


2
我记得格林伯格在《贝叶斯计量经济学概论》中曾提出过这种论点,但我不是很肯定,不确定是否有更好的参考。此外,我相信这不仅是先验的选择,而且是对先验的信心。
2012年

3
有一个很好的论据,经常性主义者将贝叶斯方法概括化!这是因为常客很乐意使用合理的先验(通过理论或数据证明),而且还使用贝叶斯人不会碰到的方法。:-)
whuber

3
从解释概率的方式开始,它们是完全不同的方法(例如, 参见link)。此外,存在的无信息之前只是因为没有唯一的(或接受)的定义没有独特的(甚至更少接受)定义的信息。即使估计量在数量上是相同的,对频繁估计量和贝叶斯估计量的解释也不同。正如我在先前的评论中提到的那样:“这就像说橘子概括了苹果一样。”

1
p(θ)=1

1
@Procrastinator是的,谢谢!那正是我正在寻找的讨论类型(尽管我想那仍然是冰山一角)。我只需要找到一本能彻底做到这一点的书,就找不到一本书。我会继续寻找。再次感谢。(大多数书籍都侧重于常客主义方法或贝叶斯方法,但不要像您那样比较两者。)
singelton 2012年

Answers:


11

我已经看到了两种观点,认为贝叶斯分析是对频度分析的概括。两者都有些开玩笑,并且使人们通过使用先验作为背景来认识有关回归模型的假设。

论点1:频繁分析是贝叶斯分析,其先验信息完全以零为中心(是的,其中心在哪里都没有关系,但可以忽略该点)。这提供了贝叶斯可能提取频繁性分析结果的上下文,并解释了为什么在某些情况下(例如,最大似然收敛困难),可以使用MCMC等“贝叶斯”技术来提取频繁性估计,并且人们认识到,当他们说“数据为自己说话”之类的东西时,他们实际上是在说,所有价值都是一样的。

论据2:实际上,您包含在模型中的任何回归项被分配了以0为中心且方差的先验值。这种说法与其说是“贝叶斯分析是一种概括”,不如说是“ 到处都有先验,甚至在您的常客模型中也是如此”。


3
+1参数2很有趣。关于论点1的两个评论:1.我会说先验先验而不是无用的信息(后者是错误的称谓,如果有的话)。2.无需谈论先验知识以激发在频繁分析中使用MCMC的方法-这种数值技术本身就没有贝叶斯的知识!
MånsT

谢谢EpiGrad。您是否有参考资料讨论您提到的两个论点?
singelton

1
+1好,只要人们意识到要表达观点就在舌头上。但是请不要认真对待!
Michael R. Chernick

@MånsT-同意MCMC 不需要使用理由,但我发现人们认为它是贝叶斯领域中的某种东西,而不是纯粹的数字技术。这有助于推动他们实现目标。
Fomite

@bayesianOrFrequentist不是真的。
Fomite

6

简短的答案可能是“是的-而且您甚至不需要一个先验就可以保留该参数。”

例如,最大后验(MAP)估计值是对最大似然性的概括,其中包括先验概率,并且存在频繁性方法,这些方法在分析上等同于找到该值。该常客在似然函数上将“先验”重新标记为“约束”或“惩罚”,并得到相同的答案。因此,即使理念不同,常客和贝叶斯主义者也都可以指出同一件事是他们的最佳参数估计。本常客论文的第5节是一个等同的例子。

更长的答案更像是“是的,但是分析中的其他方面通常可以区分这两种方法。不过,即使是这些区别在很多情况下也不一定是铁定的。”

例如,尽管贝叶斯人有时在方便时会使用MAP估计(后验模式),但通常会强调后验均值。另一方面,后验均值也有一个频繁出现的类似物,称为“袋装”估计值(来自“ bootstrap聚集”),几乎无法区分(有关此论点的示例,请参阅此pdf)。因此,这也不是真正的“硬”区别。

实际上,所有这些都意味着,即使常客做了贝叶斯认为完全违法的行为(反之亦然),另一阵营也常常(至少原则上)提供几乎相同的答案。

主要的例外是,从频率论者的角度来看,确实很难适应某些模型,但这比哲学上的问题更实际。


谢谢大卫。您的答案很有用。我也正在寻找参考资料,详细讨论这一点。我想看看贝叶斯理论关于非信息先验的观点,以及将其简化为惯常论方法的方法。我完全理解其背后的技术要点(例如,如果您将可能性乘以1 ...,您将获得可能性:-)),但是我正在寻找更合理的讨论。
singelton

1
我发现许多年轻人不了解贝叶斯范式的历史或本质。称之为常客主义方法的概括,确实错误地代表了这些范式的比较。接受拖延症患者的评论并以略有不同的方式提出,我想说这就像是说苹果只是一个超大的橘子,
迈克尔·R·切尔尼克

@DavidJHarris我不喜欢你的回答。从技术上讲,您指向的关系是合法的,但在简短答案中说“是”会给人留下错误的印象。我认为贝叶斯主义者不希望将其范式称为频率论统计的概括。这些术语完全是贝叶斯,经验贝叶斯,并可能区分与贝叶斯相关的范式,但我认为贝叶斯可能会反对称这些贝叶斯范式的分支。
Michael R. Chernick

2
@MichaelChernick点已采取。我并不是要暗示贝叶斯的所有统计学和哲学都具有相似的常客主义,反之亦然,只是我经常可以从任一阵营中找到一种可以完成相同工作的方法,而贝叶斯方法往往是两者比较灵活。也许我应该强调指出,即使您从这两个流派得到的参数估计值相同,也应按照Procrastinator在其他地方指出的那样,对它们进行不同的解释。
大卫·J·哈里斯

@DavidJHarris。我同意您所说的一切,但仅对通用一词的使用有所例外。
Michael R. Chernick

3

爱德温·杰恩斯(Edwin Jaynes)是最擅长强调贝叶斯推理和常识性推理之间联系的人之一。他的纸质置信区间与贝叶斯区间(谷歌搜索将其相提并论)是一个非常全面的比较-我认为这是很公平的。

小面积估计是ML / REML / EB / HB答案趋于接近的另一个区域。


2

这些评论中有许多假设“频率论者”的意思是“最大似然估计”。有人有不同的定义:“惯常论”是对任何推理方法的长期推理属性的一种分析,无论是贝叶斯方法,矩量法,最大似然法,还是非概率论中的东西。条款(例如SVM)等


1

我想听听Stephane或其他贝叶斯专家的意见。我会说不,因为这是一种不同的方法而不是概括。在另一种情况下,这在此之前已被争论过。不要以为仅凭先验先验会产生接近最大可能性的结果,那就是采用先验先验的贝叶斯方法是经常出现的!我认为这将是一个错误的假设,使您认为通过将先验定为任意,您就可以概括为其他可能的先验。我不这么认为,而且我可以肯定大多数贝叶斯主义者也不会。

因此,有人确实提出了异议,但我认为他们不应该被归类为贝叶斯主义者

尽管斯蒂芬(Stephane)指出了分类困难的问题。因此严格来说,如果这个词曾经存在过,那么我想它可能取决于您如何定义贝叶斯。


(+1)它们是完全不同的方法。就像说橘子概括了苹果。

5
吃很多的橙子,却没有苹果,使人如此认为。
Alfred M.

这是事实,尽管最大似然性是进行频繁推断的少数通用程序之一。因此,在有关常客主义方法的一般讨论中,它总是会被过度代表。我很惊讶没有提到像GREG这样的调查抽样。
概率
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.