二进制分类的变量选择过程

当变量/特征比学习集中的观察数多时，您更喜欢二进制分类的变量/特征选择是什么？这里的目的是讨论什么是可以最大程度减少分类错误的特征选择过程。

我们可以修复符号为：一致性，让从组是学习组观察的。因此是学习集的大小。我们将设置为要素数量（即要素空间的维）。令表示个坐标。{ X 我1，... ，X 我Ñ 我 } 我Ñ 0 + ñ 1 = Ñ p X [ 我] 我X ∈ [R$i \in \{0, 1\}$$\{x_1^i,\dots, x_{n_i}^i\}$$i$$n_0 + n_1 = n$$p$$x[i]$$i$$x \in \mathbb{R}^p$

如果您无法提供详细信息，请提供完整的参考。

编辑（不断更新）：以下答案中提出的程序

• 贪婪的前向选择 二元分类的变量选择过程
• 向后消除 二进制分类的变量选择过程
• Metropolis扫描/ MCMC 二进制分类的变量选择程序
• 惩罚逻辑回归 二进制分类的变量选择过程

由于这是社区Wiki，因此可以进行更多讨论和更新

我要说的是：从某种意义上讲，你们都提供了一种允许对变量进行排序但不允许进行变量选择的过程（关于如何选择特征数量，我非常回避，我想你们都使用了交叉验证吗？）可以改进吗？这个方向的答案？（由于这是社区Wiki，因此您无需成为回答者就可以添加有关如何选择变量数量的信息？我已经在此方向上打开了一个问题，在非常高的维度上进行了交叉验证（可以选择在高维分类中使用的变量）

惩罚Logistic回归是一种非常流行的方法，其中一种最大化对数似然的总和，并且惩罚项由L1-范数（“ lasso”），L2-范数（“ ridge”）和两者的组合组成（“弹性”）或与变量组（“套索组”）相关联的惩罚。这种方法有几个优点：

1. 它具有很强的理论特性，例如，可以参见Candes＆Plan的这篇论文，并且与压缩感测紧密相连。
2. 它具有可访问的博览会，例如，在Friedman-Hastie-Tibshirani 的《统计学习要素》中（在线可用）；
3. 它具有随时可用的软件来拟合模型。R具有非常快的glmnet软件包，并且可以与相当大的数据集一起很好地工作。Python具有scikit-learn，其中包括L1和L2惩罚逻辑回归；
4. 它在实践中效果很好，如图像识别，信号处理，生物识别和金融领域的许多应用论文中所示。

我对Leo Breiman和Adele Cutleer的《随机森林》有些偏爱，原因如下：

• 它可以应对分类和连续的预测变量，以及不均衡的分类样本量；
• 作为一种集成/嵌入方法，交叉验证被嵌入并允许估计泛化误差。
• 它的调整参数相对不明智（选择用于生长树木的变量百分比，已构建的树木数量）；
• 它提供了变量重要性的原始度量，并且能够揭示变量之间的复杂相互作用（尽管这可能导致难以读取的结果）。

一些作者认为，它的性能与惩罚性SVM或Gradient Boosting Machines一样好（关于后者，请参见Cutler等人，2009）。

它的应用或优点的完整介绍可能不在主题之列，因此，我建议使用Hastie等人的《统计学习元素》。（第15章）和Sayes等。（2007）作进一步阅读。

最后但并非最不重要的一点是，它具有R中的一个很好的实现，带有randomForest包。其他R包也可以扩展或使用它，例如party和caret。

参考文献：

卡特勒（A.Cutler），博士卡特勒（Cutler）和JR（史蒂文斯）（2009）。《基于树的方法，在癌症研究中的高维数据分析》中，Li，X.和Xu，R.（eds。），第83-101页，Springer。

Y. Saeys，I。Inza和P.Larrañaga（2007）。生物信息学中的特征选择技术综述。生物信息学，23（19）：2507-2517。

大都会扫描/ MCMC

• 首先随机选择几个特征，仅对它们进行分类训练并获得错误。
• 对此工作集进行一些随机更改-删除一个功能，随机添加另一个功能，或将某些功能替换为当前未使用的功能。
• 训练新的分类器并获取其错误；将dE差异存储在新集中的错误减去先前集中的错误。
• 有可能min(1;exp(-beta*dE))接受此更改，否则拒绝它，然后尝试另一个随机更改。
• 重复很长一段时间，最后返回全局误差最小的工作集。

您可以通过对beta参数进行更明智的控制来扩展它。更简单的方法是beta在时间上增加（以物理类比的方式降低温度）时使用模拟退火，以减少波动并将算法推向最小。更难的是使用副本交换。

如果您只对泛化性能感兴趣，那么最好不进行任何特征选择，而使用正则化（例如，岭回归）。在机器学习社区中，在特征选择方面存在一些开放的挑战，并且依靠正则化而不是特征选择的方法通常至少也可以表现得更好。

贪婪的前进选择。

此方法的步骤为：

• 确保您有培训和验证集
• 重复以下步骤
  • 用尚未选择的每个单个特征以及所有先前选择的特征训练分类器
  • 如果结果有所改善，请添加性能最佳的功能，否则请停止操作

向后淘汰。

从全套开始，然后在剩余特征上迭代训练分类器，并删除重要性最小的特征，然后在分类器误差迅速增加/变得很高时停止。

甚至可以通过迭代地删除每个特征并检查误差增加或如果分类器产生误差而从分类器中进行调整来获得重要性（例如在“随机森林”的情况下）。