当岭和套索分别表现良好但产生不同系数时如何解释结果

我正在使用Lasso和Ridge来运行回归模型（以预测介于0-5之间的离散结果变量）。在运行模型之前，我使用的SelectKBest方法scikit-learn将功能集从250减少到25。如果没有初始特征选择，套索和里奇均会降低准确性得分（这可能是由于样本量小600）所致。另外，请注意，某些功能是相关的。

运行模型后，我观察到Lasso和Ridge的预测精度几乎相同。但是，当我按系数的绝对值对它们进行排序后检查前10个特征时，我发现最多有％50重叠。

也就是说，鉴于每种方法分配的特征的重要性不同，基于所选模型，我可能会有完全不同的解释。

通常，这些功能代表网站中用户行为的某些方面。因此，我想通过突出具有较强预测能力而不是较弱特征（用户行为）的特征（用户行为）来解释发现。但是，我目前不知道如何前进。我应该如何解释模型？例如，应该结合两者并突出显示重叠部分，还是我应该选择Lasso，因为它提供了更多的可解释性？

岭回归鼓励所有系数变小。套索鼓励许多/大多数[**]系数变为零，而有一些非零。两者都会降低训练集的准确性，但会以某种方式改善预测：

• 岭回归尝试通过减少过度拟合来改善对测试集的通用性
• 套索会减少非零系数的数量，即使这会影响训练和测试集的性能

如果您的数据高度相关，则可以选择不同的系数。因此，您可能具有5个相关的功能：

• 通过为所有这些特征分配较小但非零的系数，岭回归可以在训练集上实现低损失，这有可能推广到测试集
• 套索可能只选择其中一个，而与其他四个关联良好。而且没有理由为什么它应该选择岭回归版本中具有最高系数的特征

[*]表示“选择”的含义：分配一个非零系数，这仍然有些麻烦，因为脊回归系数将趋向于全部为非零，但例如某些系数可能类似于1e-8 ，其他可能是例如0.01

[**]细微差别：正如Richard Hardy指出的那样，对于某些用例，可以选择的值，这将导致所有LASSO系数都为非零，但会有所减少$\lambda$