套索/里奇回归的标准化与标准化

我知道对ridge和lasso回归的特征进行标准化是一种常见的做法，但是，将这些特征归一化为（0,1）尺度的特征来替代这些回归方法的z评分标准化是否会更加实用？

normalization lasso standardization ridge-regression

— 史蒂夫
source

Answers:

如果应用归一化（挤压[0,1]），您将具有相对变量重要性的度量，但是它将改变变量的比例，并且您将失去所有模型的可解释性。标准化的优势在于，您仍然可以像使用非正规OLS回归一样解释模型（这已经在此处得到解答）。

— 数码
source

正规化模型在进行或不进行标准化的情况下的行为都大相径庭！具体来说，如果我们不规范功能，我们将对不同功能施加不同的惩罚！

— 海涛杜俊

我在特别地谈论套索系数解释，而不是估计。假设估算值会发生变化，我很想知道模型解释会如何变化。

— Digio

在我看来，您在答案中链接的问题似乎并不支持您提出的观点。您能否在原始帖子中更明确地说明为什么仅当特征标准化时ols系数的解释才与套索系数一致？谢谢！

— user795305

@本，您误解了我的答案（也许是我的错）。我链接到的答案解释了套索和简单回归（OLS或其他方式）中的模型系数如何以相同的方式进行解释-在任何情况下（无论是否标准化）。使用归一化（任何类型或参数回归）时，您将失去原始比例，并且如果不进行逆变换就无法解释系数。通过标准化，您可以以正常方式解释模型。

— Digio

规范化对于具有规范化的方法非常重要。这是因为变量的规模影响将多少正则化应用于特定变量。

例如，假设一个变量的规模非常大，例如数百万个，另一个变量的范围是0到1。那么，我们可以认为正则化对第一个变量的影响很小。

就像我们进行归一化一样，将其归一化为0到1或对功能进行标准化也没关系。

— 海涛都
source

这个答案很明显。这里的“标准化”是指压缩[0,1]中的所有值，这不仅仅是标准化的另一个词。问题是关于[0,1]中的归一化与标准化〜N（0,1）对模型系数的影响。

— Digio

归一化为[0,1]是什么意思？有很多方法可以实现这一目标。您对惩罚回归的建议到底是什么？

— Cagdas Ozgenc

由于问题要求“以（0,1）尺度对特征进行归一化”，尽管也许对特征进行重新缩放是一个更好的术语，但它是一种通用的技术，可产生表示相对变量重要性的系数估算值（类似于RF的纯度度量）。是的，有很多方法可以实现这一点，它不是专用于惩罚回归的，但是这个问题是关于特征重缩放（不是标准化）对套索的影响。

— Digio

“将其标准化为0到1或标准化功能没有太大关系”是什么意思？从什么意义上说这没什么大不了的？您能提供此主张的任何直觉或参考吗？

— user795305