我可能正在处理一个可能已经解决了一百次的问题，但是我不确定在哪里可以找到答案。

当使用逻辑回归时，给定许多特征并尝试预测二进制分类值，我对选择可以很好地预测的特征子集感兴趣。 y $x_1,...,x_n$$y$$y$

是否可以使用类似于套索的程序？（我只看到套索用于线性回归。）

查看拟合模型的系数是否表明了不同特征的重要性？

编辑-看到一些答案后的澄清：

1. 当我指的是拟合系数的大小时，我指的是那些拟合到归一化（均值0和方差1）特征的系数。否则，正如@probabilityislogic指出的那样，1000x的重要性似乎不如x。

2. 我对仅寻找最佳k子集（如@Davide所提供的）不感兴趣，而是权衡不同功能之间的相对重要性。例如，一个特征可能是“年龄”，而另一个特征可能是“年龄> 30”。它们的增量重要性可能很小，但两者都可能很重要。

DWin的回答提供了答案，但缺乏洞察力，因此我认为提供一些解释可能很有用。

如果您有两个类，则基本上是在尝试估计。这就是您所需要的，逻辑回归模型假设：$p=P(y_i=1|X=x_i)$

$log \frac{p}{1-p} = log \frac{P(y_i=1|X=x_i)}{P(y_i=0|X=x_i)}=\beta _0 + \beta _1 ^T x_i$

我认为特征的重要性意味着您如何影响或换句话说。$j$$p$$\frac{\partial p}{\partial x_{ij}}$

经过一小段转换，您可以看到

$p=\frac{e^{\beta _0 + \beta _1 ^T x_i}}{1+e^{\beta _0 + \beta _1 ^T x_i}}$。

计算完导数后，您会看到

$\frac{\partial p}{\partial x_{ij}} = \beta_j e^{\beta_0 + \beta _1 ^T x_i}$

显然，这取决于所有其他变量的值。但是，您可以观察到系数的SIGN可以按照您想要的方式进行解释：如果为负，则此功能会降低概率p。

现在，在您的估计过程中，您正在假设模型正确的情况下尝试估计。通过正则化，您会在这些估计中引入一些偏差。对于岭回归和自变量，您可以获得封闭式解决方案：$\beta$

$\hat{\beta^r} = \frac{\hat{\beta}}{\hat{\beta} + \lambda}$。

如您所见，这可以更改系数的符号，从而使解释破裂。

您最后一个问题的答案是否定号。系数的大小绝不是重要性的量度。套索可用于逻辑回归。您需要更加刻苦地研究该地区。您需要研究的方法是涉及“惩罚”方法的方法。如果您正在寻找发现“阴影”预测变量的检测方法，该术语可能在某处定义但未普遍使用，那么您需要寻找一种方法来检查预测变量空间内的相互作用和非线性结构。结果链接到该空间。在弗兰克·哈雷尔（Frank Harrell）的文章“回归建模策略”中，对这些问题和方法进行了大量讨论。

向后选择策略将无法传递有效结果（尽管确实会传递结果）。如果您查看了一个100个事件的20个随机预测变量的情况，则可能会发现2个或3个将通过向后选择过程进行选择。现实世界中普遍存在向后选择的现象，反映的不是仔细的统计思想，而是反映了它在SAS和SPSS中的易用性，以及这些产品的用户群的复杂性。R用户群体很难访问将这些请求发布到邮件列表中的方法和用户，因此通常会向他们告知与向后（或正向）选择方法有关的问题。

英语不是我的母语，所以我可能不了解您的问题，但是如果您需要找到最佳模型，则可以尝试使用向后过程（并最终添加交互），从所有协变量的模型开始。然后，您可以查看residuals_vs_predicted值和qq图图，以检查模型是否很好地描述了您的现象