与之间的LASSO关系

我对LASSO回归的理解是选择回归系数来解决最小化问题：

\underset{β}{分} ‖ ÿ - X β ‖_{2}^{2} s 。 Ť 。 ‖ β ‖_{1个} \leq Ť

$\min_\beta \|y - X \beta\|_2^2 \ \\s.t. \|\beta\|_1 \leq t$

实际上，这是使用拉格朗日乘数来完成的，从而可以解决问题

\underset{β}{分} ‖ ÿ - X β ‖_{2}^{2} + λ ‖ β ‖_{1个}

$\min_\beta \|y - X \beta\|_2^2 + \lambda \|\beta\|_1$

$\lambda$ 和是什么关系 $t$ ？维基百科无奈地简单地指出“依赖于数据”。

我为什么在乎？首先是出于求知欲。但是我也担心通过交叉验证选择的后果 $\lambda$ 。

具体来说，如果我要进行n倍交叉验证，则可以将n个不同的模型拟合到我的训练数据的n个不同分区中。然后，针对给定的，在未使用的数据上比较每个模型的准确性 $\lambda$ 。但是相同的对数据的不同子集 $\lambda$ 意味着不同的约束（ $t$ ）（即 $t=f(\lambda)$ 是“数据相关的”）。

我不是真的要解决交叉验证问题，以找到能够提供最佳偏差精度折衷方案的 $t$ 吗？

通过为每个交叉验证拆分和计算并查看结果分布，我可以大致了解这种效果的大小。在某些情况下，我的交叉验证子集中的隐含约束（）可能会大幅变化。我所说的基本上是指的变化系数。 $\|\beta\|_1$ $\lambda$ $t$ $t>>0$

— 恒业余
source

进行投票以取消无法解释的降票。这个问题超出了我的专业知识范围，但似乎合理地提出了。

— mkt-恢复莫妮卡

这是岭回归的标准解决方案：

β = {（ X^{'} X + λ 一世 ）}^{- 1个} X^{'} ÿ

$\beta = \left( X'X + \lambda I \right) ^{-1} X'y$

我们也知道，因此必定是 $\| \beta \| = t$

‖ {（ X^{'} X + λ 一世 ）}^{- 1个} X^{'} ÿ ‖ = Ť

$\| \left( X'X + \lambda I \right) ^{-1} X'y \| = t$ 。

这对于来说不容易解决。 $\lambda$

最好的选择就是继续做您正在做的事情：在多个值的同一数据子样本上计算。 $t$ $\lambda$

— 暗语者
source