有同时进行L1和L2正则化（又称弹性网）的线性回归的贝叶斯解释吗？

众所周知，惩罚为线性回归等效于在系数上给出高斯先验后找到MAP估计。同样，使用罚则等同于使用拉普拉斯分布作为先验。 $l^2$ $l^1$

使用和正则化的一些加权组合并不罕见。我们是否可以说这等于系数上的某些先验分布（直觉上似乎必须如此）？我们可以给这个分布一个好的分析形式（也许是高斯和拉普拉斯的混合）吗？如果没有，为什么不呢？ $l^1$ $l^2$

regression bayesian regularization prior elastic-net

— 迈克尔·库里
source

参见本文：tandfonline.com/doi/abs/10.1198/jasa.2011.tm09241 （如果一两周内未正确回答，我将（或多或少）发布该论文的摘要）

— user795305

我应该补充一点，任何时候频频人都有惩罚

，贝叶斯可以将其解释为标准高斯模型下的（可能不适当的）先验

。

p e n

$pen$

e^{- p e n}

$e^{-pen}$

— user795305

谢谢，本文及其引文完美地回答了我的问题！

— Michael Curry

大！您介意指出您指的是什么引用吗？（我正计划尽快阅读本文，并对您的评论感兴趣）

— user795305 2015年

好吧，酷！我认为他们的贝叶斯解释与我的第二条评论有关

— user795305 2015年

Ben的评论可能就足够了，但我提供了更多参考文献，其中之一来自Ben所引用的论文之前。

Kyung等人提出了贝叶斯弹性网表示。等在他们的第3.1节中。尽管回归系数的先验值是正确的，但作者错误地写下了混合表示。 $\beta$

Roy和Chakraborty最近提出了一种针对弹性网的修正贝叶斯模型（其方程式6）。作者还继续介绍了一个合适的Gibbs采样器，以从后验分布中采样，并证明Gibbs采样器以几何速率收敛到平稳分布。因此，除了Hans论文之外，这些参考资料可能还会有用。

— 格林帕克
source

（+1）个好答案！

— user795305

对于将来的任何人-这些论文都值得一看，但是Hans的论文为您提供了一些Gibbs采样器，用于各种发行版本，以及可以轻松翻译成Stan的先验的层次表示。

— Michael Curry