进行线性回归时,斜率的无先验信息是什么?


10

在执行贝叶斯线性回归时,需要为坡度分配先验并截取。由于是位置参数,因此分配统一的先验是有意义的;但是,在我看来,类似于比例尺参数,并且在其之前分配制服似乎是不自然的。abba

另一方面,为线性回归的斜率分配通常没有信息的杰弗里·普雷尔()似乎不太正确。首先,它可以是负数。但是我看不出还有什么可能。1/a

那么,贝叶斯线性回归的斜率的“适当”先验信息是什么?(任何参考文献将不胜感激。)


坡度并不是真的像比例参数-例如,它可以是负数。事先没有“适当的”非信息性(“低信息”可能是一个更好的术语)。有一些共同的选择,可能适合不同的人或不同的情况。
Glen_b-恢复莫妮卡

Answers:


10

摘自贝叶斯数据分析第3版。355:

标准非信息性先验分布

在正态回归模型中,便利的非信息先验分布在或等效地上是均匀的(β,logσ)

p(β,σ2|X)σ2

(表示回归器。)该书在此问题的范围之外还包含其他有用的讨论:当此先验有用时,当其他先验更适合时,其后验以及与经典估计的比较。X


9

贝叶斯通常会选择先验条件,使他们在数学上具有挑战性的生活更容易承担。这意味着高斯先验,除非模型绝对禁止。请记住,在这种情况下,您需要先考虑一个二元变量,因为您必须对坡度和位置及其边际行为之间的相关性进行建模。多变量法线是您的门票。

参数上的高斯先验与回归模型已经具有的(毫无疑问)高斯测量误差很好地吻合。

顺便说一句,我不将坡度与比例参数相关联,因为坡度可以是负数,而比例参数不能。

现在,高斯分布不是先验信息,但如果您确实没有先验信息,那么也许应该去做常客。或使用方差很大的高斯。

我不了解贝叶斯推理的现代参考。冒着使用火箭筒射击兔子的风险,您可以查找Rasmussen和Williams(可在线获取)。第2章的第一部分详细介绍了贝叶斯回归。


3

通常,在斜率和偏移量上使用统一的先验,但是我喜欢将平坦先验放在和上的想法,其中是线和y = 0。这给出了的先验值, 它倾向于在零附近倾斜。派生自http://jakevdp.github.io/blog/2014/06/14/frequentism-and-bayesianism-4-bayesian-in-python/#The-PriorFrequentism和Bayesianism:Python驱动杰克·范德布拉斯(Jake Vanderblas)入门tan1(a)bcosθθ

p(a,b)=(1+a2)3/2
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.