LASSO回归系数的解释

我目前正在为具有约300个变量和800个观察值的数据集构建二进制结果的预测模型。我已经在该站点上阅读了很多有关逐步回归相关问题以及为什么不使用它的知识。

我一直在阅读LASSO回归及其功能选择功能，并已成功使用“插入符号”包和“ glmnet”实现了它。

我能够提取与优化模型的系数lambda，并alpha从“插入符号”; 但是，我不熟悉如何解释系数。

LASSO系数的解释方法是否与逻辑回归相同？
在逻辑回归中使用从LASSO中选择的特征是否合适？

编辑

系数的解释（如LASSO回归的指数系数一样）是系数保持1个单位变化时的对数赔率，同时保持所有其他系数不变。

https://stats.idre.ucla.edu/other/mult-pkg/faq/general/faq-how-do-i-interpreting-odds-ratios-in-logistic-regression/

— 迈克尔·卢
source

您能否填写“以与逻辑回归相同的方式进行解释”的含义？确切地了解您想要概括的解释对我非常有用。

— 马修·德鲁里

@Matthew Drury-非常感谢您抽出宝贵的时间为我提供帮助，因为我的课程从未超过LASSO。通常，根据我在研究生课程中所学的知识，对数回归的指数系数产生了系数增加1个单位的对数赔率，而所有其他系数保持不变。

— Michael Luu

在“插入符号”中，选择和。来自哪里？它可能是弹性网的超参数（LASSO的相对权重相对于岭惩罚）（在这种情况下，您实际上将使用弹性网而不是LASSO）？

α

$\alpha$

λ

$\lambda$

α

$\alpha$

— 理查德·哈迪

据我所知，大多数LASSO实现中都没有引入系数的显着性检验。因此，区别不在于我们虽然可以确定OLS中具有统计意义的变量，但不能对LASSO做到这一点，除非做出一个较弱的陈述，即所选择的相应变量的LASSO系数是要考虑的“重要”变量？

— godspeed '16

LASSO系数的解释方法是否与逻辑回归相同？

让我重新说明一下：LASSO系数的解释方式是否与逻辑回归中的~~OLS~~最大似然系数相同？

LASSO（一种惩罚性估计方法）旨在估计与~~OLS~~最大似然（一种非惩罚性方法）相同的数量（模型系数）。模型相同，解释也相同。LASSO的数值通常不同于~~OLS~~最大似然的数值：有些接近零，有些恰好为零。如果应用了合理的惩罚量，则LASSO估计将比~~OLS~~最大似然估计更接近真实值，这是理想的结果。

在逻辑回归中使用从LASSO中选择的特征是否合适？

这样做没有内在的问题，但是您不仅可以将LASSO用于特征选择，还可以将其用于系数估计。如上文所述，LASSO估计可能比~~OLS~~最大似然估计更准确。

— 理查德·哈迪
source

非常感谢您的回复！很有道理！请原谅我有限的知识。正如您在另一条评论中提到的那样，由于它选择了最佳的lambda和alpha，因此我可能会使用弹性网而不是通过插入符号使用LASSO。关于系数是否同样适用？

— Michael Luu

是的，会的。基本逻辑保持不变。

— 理查德·哈迪

您写“解释保持不变”。你能帮我理解这一点吗？在我看来，多元回归设置中OLS系数的解释依赖于部分回归图。但是，此属性不适用于套索系数，这使我相信解释会有所不同。

— user795305

@Ben，如果我们假设一个基础的统计模型，则可以用不同的方式估计其参数，两个流行的模型是OLS和套索。估计的系数以相同的目标为目标，并且都具有一定的估计误差（如果平方，则可以分解为偏差和方差），因此从这个意义上讲，它们的解释是相同的。当然，现在方法不相同，因此您获得了不同的估计系数值。如果您在乎这些方法及其代数和几何解释，那么它们就不一样了。但是主题的解释是相同的。

— 理查德·哈迪

@RichardHardy Ah，好吧，我想我会更好地理解您的意思。套索可能会在估计误差方面胜过OLS，但这确实是事实，但是最终，就像您说的那样，这些只是针对同一目标的估计。是否会以与解释OLS相同的方式解释任何估计量？例如，（非随机）估计量会这样解释吗？或具有iid统一（0,1）项的估算器？（等）（对我而言）似乎确实需要在其解释中直接使用估算器的属性，甚至主题解释也会发生变化。

(1, \dots, p)^{T}

$(1, \dots, p)^T$

— user795305