仅将LASSO用于特征选择

在我的机器学习课程中，我们了解了LASSO回归如何很好地执行特征选择，因为它利用了正则化。$l_1$

我的问题是：人们通常是仅使用LASSO模型进行特征选择（然后将这些特征转储到其他机器学习模型中），还是通常使用LASSO进行特征选择和实际回归？

例如，假设您想进行岭回归，但是您认为许多功能都不是很好。运行LASSO，仅提取算法未将其归零的功能，然后仅将那些功能用于将数据转储到ridge回归模型中是否明智？这样，您将获得正则化用于执行特征选择的好处，还正则化用于减少过度拟合的好处。（我知道这基本上等于弹性净回归，但是似乎您不需要在最终回归目标函数中同时拥有l_1和l_2项。）$l_1$$l_2$$l_1$$l_2$

除了回归之外，在执行分类任务（使用SVM，神经网络，随机森林等）时，这是否是明智的策略？

几乎所有进行某种形式的模型选择然后进行进一步分析的方法（似乎以前没有发生过模型选择）通常都具有较差的比例。除非有广泛的模拟研究证据支持令人信服的理论论证，例如针对实际样本量以及特征与样本量之比的证据表明这是一个例外，否则这种方法可能会具有令人满意的特性。我不知道这种方法有任何这样的积极证据，但也许有人知道。鉴于存在可以实现所有期望目标的合理替代方案（例如弹性网），因此很难使用这种可疑的临时方法来证明这种方法的合理性。

除上述所有答案外：还可以为2x2和rxc表计算精确的chi2置换测试。与其将我们的卡方统计量的观察值与渐近卡方分布进行比较，不如将其与确切的置换分布进行比较。我们需要以所有可能的方式置换我们的数据，以保持行和列边距不变。对于每个排列的数据集，我们计算了chi2统计量。然后，我们将观察到的chi2与（分类的）chi2统计进行比较。在置换的chi2测试统计中真实测试统计的排名给出了p值。