拉索之前的标准化真的有必要吗？

我已经了解了在进行诸如Lasso回归之类的操作之前标准化变量的三个主要原因：

1）系数的可解释性。

2）能够根据收缩后系数估计值的相对大小对系数重要性进行排名。

3）无需拦截。

但是我想知道最重要的一点。我们是否有理由认为标准化会改善模型的样本外推广？而且我不在乎我是否不需要模型中的拦截器。加一个不会伤害我。

normalization lasso standardization regularization shrinkage

— 亚瑟
source

澄清：您似乎想问：“提供标准化是可选的（特殊情况之一，即结果不会因不同的幅度而发生偏差），那么标准化会改善样本外的推广吗？” 它是否正确？

— Drew75

@ Drew75我更喜欢按情况细分，例如，当结果“以不同的幅度偏斜”时有帮助，当结果没有偏斜时有帮助，等等，最佳答案将涵盖不同的情况。

— Jase

然后，您的问题与套索无关（因为在套索之前必须进行一般的标准化）。更一般。也许更改标题和问题的第一句话。

— Drew75

@Drew：那真是个问题的开始：为什么有必要（什么时候不？）？歪曲结果是什么意思（与什么相比）？我认为这个问题很好。

— Scortchi-恢复莫妮卡

@ Drew75我的问题是关于套索的。

— 杰瑟

Answers:

套索回归对与每个变量关联的系数的大小施加约束。但是，该值将取决于每个变量的大小。因此，有必要对变量进行居中和缩小或标准化。

将变量居中的结果意味着不再有截距。顺便说一下，这同样适用于岭回归。

这篇文章的另一个很好的解释是：需要在回归中集中和标准化数据

— Drew75
source

这不是我的问题的答案，或者是非常间接的答案。请解释您的答案与样本外概括（这是问题）之间的联系。

— 杰瑟

@Jase：它确实解决了主标准化的原因，你的名单上遗漏：如果你想与小系数下降的预测（或以其它方式使用惩罚项取决于系数大小），你需要决定怎样才算是“小”。尽管在LASSO或其他惩罚性回归方法之前不是强制性的标准化，但很少有碰巧测量到的预测变量的原始比例可用于此目的。

— Scortchi-恢复莫妮卡

关于居中的要点是，您通常不需要降低或缩小截距。

— Scortchi-恢复莫妮卡

λ

$\lambda$

从广义上讲，您总体上缩小了多少会影响对随机保留样本的推广。在某种程度上是任意决定，将每个预测变量相对于其他变量缩小多少会影响对相似总体的新样本的泛化，其中系数略有不同，预测变量的分布不一定像训练集中的那样，＆C。（当然，您的问题值得更深思熟虑的答案。）

— Scortchi-恢复莫妮卡

L1惩罚参数是绝对beta项的总和。如果变量的维数不同，那么即使在数学上没有任何错误，该术语也实际上不是可加的。

但是，我看不到虚拟/类别变量受此问题困扰，并且认为它们不需要标准化。标准化这些可能会降低变量的可解释性

— 苏米特·达尔
source