“先验稀疏”一词指的是什么(FBProphet论文)?


11

阅读“大规模预测”(FBProphet预测工具,请参阅https://peerj.com/preprints/3190.pdf)一文,我遇到了“先验稀疏”一词。作者解释说,他们正在使用这样的“稀疏先验”模型来建模与某些标量速率的速率偏差的向量,后者是逻辑增长模型中的模型参数。δķ

当他们指出,如果参数小,我是否正确理解“稀疏”是指携带接近零的元素的向量?我很困惑,因为我认为所有矢量元素都必须是回归的参数,但是像这样定义它们只会让参数和成为自由模型参数,不是吗?δĴ拉普拉斯0ττķτ

另外,是否使用拉普拉斯分布来生成先验共性?我不明白为什么它比例如正态分布更可取。


1
在阅读本文时,我也想知道这个问题。您找到这个问题的答案了吗?另外,您是否在先知github问题部分中问了这个问题?其中一位作者(@bletham)积极回答问题,他的解释通常很不错。
leaRner

Answers:


4

稀疏数据是具有许多零的数据。在这里,作者似乎将先验称为稀疏,因为它偏爱零。如果查看拉普拉斯(又称双指数)分布的形状(峰值约为零),这是不言自明的。

(图片来源Tibshirani,1996年)

此效果对于任何值都是正确的(分布总是在其location参数处达到峰值,此处等于零),尽管参数的值越小,其正则化效果就越强。τ

因此,拉普拉斯先验通常用作鲁棒先验,具有正则化效果。话虽如此,拉普拉斯先验是最受欢迎的选择,但是如果您真的想要稀疏的解决方案,可能会有更好的选择,如Van Erp等人(2019)所述。

Van Erp,S.,Oberski,DL和Mulder,J.(2019年)。贝叶斯惩罚回归的收缩先验。 数学心理学杂志,89,31-50。doi:10.1016 / j.jmp.2018.12.004


3
+1我将补充一点,这些通常被称为“稀疏诱导”先验,我个人认为更清楚(先验会导致估计的回归系数稀疏)
Jake Westfall
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.