在回归设置中,什么时候不能将频繁样本抽样分布解释为贝叶斯后验?


11

我的实际问题在最后两段中,但是要激发他们:

如果我试图估计遵循具有已知方差的正态分布的随机变量的均值,则我已经读过,在均值上放置均等的先验会导致与似然函数成正比的后验分布。在这些情况下,贝叶斯可信区间与频密者置信区间完全重叠,并且贝叶斯最大值后验估计等于频密者最大似然估计。

在简单的线性回归设置中,

Y=Xβ+ϵ,ϵN(0,σ2)

推杆上形成均匀的前和前上逆伽马σ 2与后部小的参数值结果β中号P,这将是非常相似的频率论β中号大号ë,而对于后验分布的可靠区间的β | X,它将与最大似然估计值周围的置信区间非常相似。他们不会完全一样,因为之前上σ 2βσ2β^MAPβ^MLEβ|Xσ2施加的影响小的量,并且如果后估计经由MCMC仿真,将介绍差异的另一来源进行,但围绕贝叶斯置信区间β中号P和周围频率论置信区间β中号大号ë将彼此之间非常接近,当然,随着样本数量的增加,随着似然性的影响逐渐占主导,它们应该收敛。β^MAPβ^MLE

但是我已经读到,在有些回归情况下,这些近等值不成立。例如,具有随机效应的层次回归或逻辑回归-在我所了解的情况下,没有“良好”的目标或参考先验条件。

所以我的一般问题是-假设我想推断P(β|X)并且我没有要合并的先前信息,为什么我不能在这些情况下进行频繁的最大似然估计,并将所得的系数估计和标准误解释为贝叶斯MAP估计和标准差,并隐式地对待这些由先验得出的“后验”估计必须是“无信息的”,而没有试图找到会导致这种后验的先验的明确表述?通常,在回归分析领域中,什么时候可以按照这些原则行事(将似然性当作后验对待),什么时候不行?对于不是基于似然性的频繁性方法(例如准似然方法),

答案是否取决于我的推论目标是系数点估计,还是系数在特定范围内的概率,或预测分布的数量?

Answers:


6

这基本上是一个问题关于 -值p和最大似然。让我在这里引用科恩(1994)

我们想知道的是“鉴于此数据,为真的概率 是多少?” 但是,正如我们大多数人所知,[ p值]告诉我们的是“鉴于H 0为真,这个(或更极端的)数据的概率是多少?” 这些不一样(...)H0pH0

因此,值告诉我们什么是P D | H 0,而我们对P H 0 | D 感兴趣(另请参阅有关Fisherian与Neyman-Pearson框架的讨论)。pP(D|H0)P(H0|D)

让我们暂时忘记。给定某些参数θ观察数据的可能性似然函数pθ

L(θ|D)=P(D|θ)

P(θ|D)θ

P(θ|D)posteriorP(D|θ)likelihood×P(θ)prior

p

因此,尽管最大似然估计应与统一先验条件下的MAP贝叶斯估计相同,但您必须记住,它们回答的是不同的问题。


Cohen,J。(1994)。地球是圆形的(p <.05)。 美国心理学家, 49,997-1003。


感谢您的回复@Tim。我应该更加清楚-我了解到P(D | H)和P(H | D)通常是不相同的,并且频繁派和贝叶斯派对于将概率分布分配给参数是否合适的观点有所不同(或更普遍的假设)。我要问的是一种情况,在这种情况下,估计量的(频率)采样分布将在数值上等于真实参数值的(贝叶斯)后验分布。
Yakkanomica 2015年

我的先前评论的继续:您写道:“因此,尽管最大似然估计应与统一先验条件下的MAP贝叶斯估计相同,”-我是在询问这种关系是否破裂的情况?点估计及其周围的分布。
Yakkanomica 2015年

最后一个附录-有人会说,贝叶斯方法的主要优点是它能够灵活地合并先验知识。对我而言,贝叶斯方法的吸引力在于解释-将概率分布分配给参数的能力。需要指定先验是一个麻烦。我想知道在什么情况下我可以使用频繁者方法,但是通过在可能是非信息先验的情况下证明频繁者和贝叶斯结果在数值上是一致的,从而对结果分配贝叶斯解释。
Yakkanomica,2015年

2
@Yakkanomica我知道,这是一个有趣的问题,但是简单的答案(如上所述)是您不应该做出这样的解释,因为最常见的方法回答的问题不同于贝叶斯问题。ML和MAP点估计值应该一致,但是置信区间和HDI可能不同,因此不应解释为可互换性。
蒂姆

但是@Tim,在某些情况下置信区间和HDI确实重叠。例如,将第1906页的ML估计值与第1908页的贝叶斯后验估计值(基于系数的均匀先验值和比例尺上的IG先验值)进行比较:PROC GENMOD示例。ML点估计和95%的置信极限与贝叶斯后验均值估计和95%HPD间隔非常相似。
Yakkanomica
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.