在机器学习中合并稀疏和密集的数据以提高性能

我有可预测的稀疏特征，也有一些也可预测的密集特征。我需要将这些功能结合在一起，以提高分类器的整体性能。

现在，当我尝试将它们组合在一起时，稠密特征往往比稀疏特征更占主导地位，因此与仅具有稠密特征的模型相比，AUC仅改善了1％。

有人遇到过类似的问题吗？非常感谢您的投入，有点卡住。我已经尝试了许多不同的分类器，分类器的组合，特征转换以及使用不同算法的处理。

先谢谢您的帮助。

编辑：

我已经尝试了评论中给出的建议。我观察到的是，对于几乎45％的数据，稀疏特征的性能确实很好，只有稀疏特征的AUC约为0.9，而对于其余稠密特征，AUC约为0.75的性能很好。我尝试将这些数据集分离出来，但得到的AUC为0.6，因此，我不能简单地训练模型并确定要使用的功能。

关于代码段，我已经尝试了很多东西，以至于我不确定要分享什么：(

这似乎是主成分分析的工作。在Scikit中，PCA实施得很好，并且对我有很多帮助。

PCA以某种方式结合了您的功能。通过限制组件的数量，可以使用无噪声的数据（在最佳情况下）获取模型。因为您的模型和数据一样好。

下面考虑一个简单的例子。

from sklearn.pipeline import Pipeline
pipe_rf = Pipeline([('pca', PCA(n_components=80)),
                    ('clf',RandomForestClassifier(n_estimators=100))])
pipe_rf.fit(X_train_s,y_train_s)

pred = pipe_rf.predict(X_test)

为什么我选了80个？当我绘制累积方差时，我在下面得到了这一点，它告诉我，使用〜80个分量，我几乎可以达到所有方差。

因此，我想尝试一下，在您的模型中使用它。应该会有所帮助。

组合特征的最佳方法是通过集成方法。基本上有三种不同的方法：装袋，增强和堆叠。您可以使用功能选择增强的Adabbost（在这种情况下考虑稀疏特征和密集特征），也可以使用基于堆栈的（随机特征-随机子空间）。我更喜欢第二种选择，您可以通过使用随机数训练一组基础学习者（决策树）。子集和随机特征（保持培训基础学习者，直到您涵盖了全部功能）下一步是测试“训练”集以生成元数据。使用此元数据来训练元分类器。元分类器将找出哪个功能更重要以及应使用哪种关系

变量组可能是多重共线性的，或者稀疏和稠密之间的转换可能会出错。您是否考虑过使用投票分类器/集成分类？http://scikit-learn.org/stable/modules/ensemble.html 这样，您可以处理上述两个问题。

除了上面的一些建议外，我建议使用两步建模方法。

1. 首先使用稀疏特征并开发最佳模型。
2. 从该模型计算预测概率。
3. 将该概率估计值输入第二个模型（作为输入特征），该模型将包含密集特征。换句话说，使用所有密集特征和概率估计来构建第二个模型。
4. 最终分类将基于第二个模型。

仅对稀疏特征尝试PCA，并将PCA输出与密集特征结合使用。

因此，您将获得密集的（原始）要素集+密集的要素集（本来稀疏的）。

+1问题。请用结果更新我们。