拉索罚分为什么等于先验双指数（Laplace）？

我已经在许多参考文献中读取为回归参数向量套索估计相当于后模式，其中，每个所述先验分布是双指数分布（也称为拉普拉斯分布）。$B$$B$$B_i$

我一直在试图证明这一点，有人可以充实细节吗？

为简单起见，我们仅考虑变量的单个观测值，使得 $Y$

$$Y|\mu, \sigma^2 \sim N(\mu, \sigma^2),$$

$\mu \sim \mbox{Laplace}(\lambda)$ 和不正确的先验 。$f(\sigma) \propto \mathbb{1}_{\sigma>0}$

那么的联合密度与 $Y, \mu, \sigma^2$

$$f(Y, \mu, \sigma^2 | \lambda) \propto \frac{1}{\sigma}\exp \left(-\frac{(y-\mu)^2}{\sigma^2} \right) \times 2\lambda e^{-\lambda \vert \mu \vert}.$$

取一个日志并丢弃不涉及， $\mu$

$$\log f(Y, \mu, \sigma^2) = -\frac{1}{\sigma^2} \Vert y-\mu\Vert_2^2 -\lambda \vert \mu \vert. \quad (1)$$

因此，（1）的最大值将是MAP估计值，并且实际上是在重新设置\ tilde \ lambda = \ lambda \ sigma ^ 2之后的套索问题$\tilde \lambda = \lambda \sigma^2$。

回归的扩展很明显-将用替换为正态似然，并将上的先验值设置为独立的拉普拉斯分布的序列。$\mu$$X\beta$$\beta$$(\lambda)$

通过检查LASSO正在优化的数量可以明显看出这一点。

取的先验值是独立的Laplace，均值零且标度。$\beta_i$$\tau$

因此。$p(\beta|\tau) \propto e^{-\frac{1}{2\tau} \sum_i|\beta_i|}$

数据模型是通常的回归假设。$y \stackrel{\text{iid}}{\sim}N(X\beta,\sigma^2)$

$f(\mathbf{y}|\mathbf{X},\boldsymbol\beta,\sigma^{2}) \propto (\sigma^{2})^{-n/2} \exp\left(-\frac{1}{2{\sigma}^{2}}(\mathbf{y}- \mathbf{X} \boldsymbol\beta)^{\rm T}(\mathbf{y}- \mathbf{X} \boldsymbol\beta)\right)$

现在减去后验对数的两倍为

$k(\sigma^2,\tau,n,p)+$ $\frac{1}{{\sigma}^{2}} (\mathbf{y}- \mathbf{X} \boldsymbol\beta)^{\rm T}(\mathbf{y}- \mathbf{X} \boldsymbol\beta)+ \frac{1}{\tau} \sum_i|\beta_i|$

令，我们得到 log-后$\lambda=\sigma^2/\tau$$-2\log$

$k(\sigma^2,\lambda,n,p)+$ $\frac{1}{{\sigma}^{2}}\left[ (\mathbf{y}- \mathbf{X} \boldsymbol\beta)^{\rm T}(\mathbf{y}- \mathbf{X} \boldsymbol\beta)+ \lambda \sum_i|\beta_i|\right]$

的MAP估算器使上述最小化，从而使$\beta$

$S=(\mathbf{y}- \mathbf{X} \boldsymbol\beta)^{\rm T}(\mathbf{y}- \mathbf{X} \boldsymbol\beta)+ \lambda \sum_i|\beta_i|$

因此的MAP估计器是LASSO。$\beta$

（在这里，我将视为有效固定的，但是您可以用它做其他事情，而仍然可以得到LASSO。）$\sigma^2$

编辑：这就是我离线编写答案所得到的；我没有看到安德鲁已经发布了一个好的答案。我的确不做他没有做过的任何事情。我将暂时离开，因为它会根据给出开发的更多细节。$\beta$