如果LASSO等于用拉普拉斯先验进行线性回归，那么在分量为零的集合上如何有质量？

我们都熟悉在文献中有充分记载的概念，即LASSO优化（为简单起见，这里仅将注意力集中在线性回归的情况下）等效于具有高斯误差的线性模型，在线性模型中，参数被赋予了拉普拉斯先验我们也知道，较高的那个会设置调整参数，，参数的较大部分将设置为零。话虽如此，我有以下思想问题：

升 Ø s s = ‖ ÿ - X β ‖_{2}^{2} + λ ‖ β ‖_{1个}

${\rm loss} = \| y - X \beta \|_2^2 + \lambda \| \beta \|_1$

经验值 （ - λ ‖ β ‖_{1个} ）

$\exp(-\lambda \| \beta \|_1 )$

λ

$\lambda$

考虑到从贝叶斯的角度来看，我们可以计算出后验概率，即非零参数估计值位于任何给定的时间间隔集合中，并且 LASSO设置为零的参数等于零。让我感到困惑的是，假设拉普拉斯先验是连续的（实际上是绝对连续的），那么在集合上如何有任何质量是处的间隔和单例的乘积 $\{0\}$ ？

lasso laplace-distribution

— 格兰特·伊兹密里安
source

是什么让您认为后验也不是连续的pdf？后验的最大值恰好发生在恰好有很多0分量的点上，这一事实本身并不意味着后验不是连续的pdf。

— Brian Borchers 2015年

后验是连续的PDF。如果将其视为受限的最大似然估计，则当真实模型在多个回归系数处为零且调整常数足够大时，如果我们想象从同一数据分布中重复抽取，则CMLE将始终将相同的分量设置为零，而将零参数将扩展为相应的置信区间。从贝叶斯角度来看，这等效于此类集合具有正概率。我的问题是，如何才能连续分发。

— Grant Izmirlian

CLME解决方案与MAP估计值一致。真的没有什么可说的了。

— Sycorax说，恢复莫妮卡

CMLE解决方案不是后验样本。

— Brian Borchers 2015年

没有矛盾，因为后部不会在较小尺寸的集合上施加质量。

— 西安

像上面的所有评论一样，贝叶斯对LASSO的解释并没有采用后验分布的期望值，如果您是纯粹主义者，这就是您想要做的。如果真是这样，那么对于数据来说，后验概率为零的可能性很小。

实际上，对LASSO的贝叶斯解释是采用后验的MAP（最大后验）估计。听起来您很熟悉，但是对于任何不熟悉的人，这基本上就是贝叶斯最大似然法，您可以在其中使用与最大出现概率（或众数）相对应的值作为LASSO中参数的估计量。由于分布从负方向呈指数增长直到零，而从正方向呈指数下降，除非您的数据有力地表明beta是其他重要值，否则后验值的最大值很可能为0。

长话短说，您的直觉似乎是基于后验的均值，但是贝叶斯对LASSO的解释是基于后验的模式。

— www3
source