回归分析中的套索是什么？

我正在寻找套索的非技术定义及其用途。

LASSO（最小绝对收缩和选择算符）是一种回归方法，涉及对回归系数的绝对大小进行惩罚。

通过惩罚（或等效地约束估计的绝对值之和），您最终会遇到某些参数估计可能恰好为零的情况。施加的惩罚越大，则进一步的估计将缩小为零。

当我们需要一些自动特征/变量选择时，或者在处理高度相关的预测变量时，这是很方便的，在这些预测变量中，标准回归通常会具有“太大”的回归系数。

https://web.stanford.edu/~hastie/ElemStatLearn/（免费下载）对LASSO及其相关方法有很好的描述。

LASSO回归是一种回归分析，其中变量选择和调整都同时发生。这种方法使用了一个影响其回归系数值的惩罚。随着惩罚增加，更多系数变为零，反之亦然。它使用L1归一化技术，其中将调整参数用作收缩量。随着调整参数的增加，偏差会增加，而随着偏差的减小，方差会增加。如果它是常数，则没有系数为零，并且趋于无穷大，则所有系数将为零。

在“正常”回归（OLS）中，目标是最小化残差平方和（RSS），以便估算系数

$$\underset{\beta \in \mathbb{R}^p}{\operatorname{argmin}} \sum_{i=1}^{n} (Y_{i} - \sum_{j=1}^{p}X_{ij}\beta_{j})^{2}$$

如果是LASSO回归，则可以使用略有不同的方法估算系数：

$$\underset{\beta \in \mathbb{R}^p}{\operatorname{argmin}} \sum_{i=1}^{n} (Y_{i} - \sum_{j=1}^{p}X_{ij}\beta_{j})^{2} \color{red}{+ \lambda \sum_{j=1}^{p}|\beta_{j}|}$$

$\lambda$$\lambda$

$\lambda = 0$$\operatorname{argmin}$$\lambda = 1$$\lambda$对系数施加的惩罚越多，系数就越小，有些系数可能变为零。这意味着LASSO可以通过选择特征来生成简约的模型，并且可以防止模型过度拟合。就是说，如果您具有许多功能并且目标是预测数据而不是解释模型系数，则可以使用LASSO。