为什么对Lasso使用近端梯度下降法而不是普通次梯度法？

我当时正在考虑通过香草次梯度方法来解决套索。但是我读过有人建议使用近邻梯度下降法。有人可以强调为什么将近端GD而不是香草次梯度法用于套索吗？

确实可以使用次梯度方法找到套索的近似解。例如，假设我们要最小化以下损失函数：

$$f(w; \lambda) = \| y - Xw \|_2^2 + \lambda \|w\|_1$$

该惩罚项的梯度为和为，但惩罚项是在不可微。取而代之的是，我们可以使用梯度，这是相同的但具有值为。$-\lambda$$w_i < 0$$\lambda$$w_i > 0$$0$$\lambda \text{sgn}(w)$$0$$w_i = 0$

损失函数的相应子梯度为：

$$g(w; \lambda) = -2X^T (y - X w) + \lambda \text{sgn}(w)$$

我们可以使用类似于梯度下降的方法来最小化损失函数，但是可以使用次梯度（等于所有地方，除了未定义梯度的梯度，其余地方都等于梯度）。该解可能非常接近真实的套索解，但可能不包含精确的零-权重应为零，而取的值却非常小。缺乏真正的稀疏性是不对套索使用次梯度方法的原因之一。专用的求解器利用问题结构以计算有效的方式生成真正的稀疏解。这个帖子$0$他说，除了产生稀疏解之外，专用方法（包括近端梯度方法）比次梯度方法具有更快的收敛速度。他提供了一些参考。