惩罚回归中收缩参数的可能值的典型范围是多少？

在套索或山脊回归中，必须指定一个收缩参数，通常由或调用。通常通过交叉验证来选择此值，方法是在训练数据上检查一堆不同的值，然后查看哪个值产生最佳值，例如测试数据上的。一个值应检查的范围是多少？是吗？$\lambda$$\alpha$$R^2$$(0,1)$

您真的不需要打扰。在大多数软件包（如glmnet）中，如果不指定，则软件包会生成自己的序列（通常建议这样做）。我强调这个答案的原因是，在运行LASSO时，求解器会生成一个λ序列，因此尽管提供单个λ值可能会违反直觉，但实际上会大大降低求解器的速度（当您提供确切的参数时，求解器会求助于解决半确定程序，对于合理的“简单”情况可能会很慢。）$\lambda$$\lambda$$\lambda$

至于的确切值，您可以从[ 0 ，∞ [。请注意，如果您的λ值太大，则惩罚将太大，因此所有系数都不能为非零。如果损失太小，您将过度拟合模型，这将不是最佳的交叉验证解决方案 $\lambda$$[0,\infty[$$\lambda$