从许多自变量中检测出重要的预测变量

在两个非重叠人群（患者和健康人群，总计$n=60$）的数据集中，我想（从$300$独立变量中）找到连续因变量的重要预测因子。存在预测变量之间的相关性。我有兴趣了解是否有任何预测变量与“现实中”的因变量相关（而不是尽可能准确地预测因变量）。当我对众多可能的方法不知所措时，我想问一问最推荐哪种方法。

• 根据我的理解，不建议逐步加入或排除预测变量

• 例如，对每个预测变量分别运行线性回归，并使用FDR校正p值以进行多次比较（可能非常保守？）

• 主成分回归：难以解释，因为我无法讲述单个预测变量的预测能力，而只能讲述成分。

• 还有其他建议吗？

我建议使用套索正则化来尝试一下。这会给模型增加变量数量的惩罚，并且随着惩罚的增加，模型中变量的数量也会减少。

您应该使用交叉验证来选择惩罚参数的值。如果您有R，建议您使用glmnet软件包。使用alpha=1了套索回归，以及alpha=0对岭回归。设置0到1之间的值将使用套索和山脊惩罚的组合，也称为弹性网。

为了扩展Zach的答案（+1），如果在线性回归中使用LASSO方法，则尝试最小化二次函数和绝对值函数的和，即：

第一部分是平方（下面的金），第二部分是方形曲线（下面的绿色）。黑线是相交线。 $\beta$

最小值位于相交曲线上，此处与二次曲线和方形曲线的轮廓曲线一起绘制：

您可以看到最小值位于其中一个轴上，因此已从回归中消除了该变量。

您可以查看我的博客文章，关于使用罚分进行回归和变量选择（也称为套索正则化）。 $L1$

您对多少个预测变量可能很重要的先前看法是什么？它们中的大多数可能会产生完全为零的影响，还是一切都会影响结果，某些变量仅比其他变量少？

健康状况如何与预测任务相关？

如果您认为只有几个变量很重要，则可以先尝试使用尖峰和台阶（例如，在R的spinSlabGAM软件包中）或L1。如果您认为所有预测因素都会影响结果，那么您可能不走运。

通常，与观察数据的因果推断有关的所有警告均适用。

无论您做什么，都值得在预测变量的重要性等级上获得引导置信区间，以表明您可以使用数据集真正做到这一点。我怀疑任何一种方法都能可靠地找到“真实的”预测因子。

我记得拉索回归在 $n \leq p$，但我不确定。我认为在这种情况下，Elastic Net更适合变量选择。