是否有适用于使用稀疏预测器和响应的类似于CART的方法的库？

我正在使用R中的gbm包处理一些大型数据集。我的预测变量矩阵和响应向量都很稀疏（即，大多数条目为零）。我希望使用一种可以利用这种稀疏性的算法来构建决策树，就像在这里所做的那样。在该论文中，就像我所遇到的情况一样，大多数项目只有许多可能的功能中的少数，因此，除非数据中另有明确说明，否则它们可以通过假设其项目缺少给定功能来避免大量的计算浪费。我的希望是，通过使用这种算法（然后将增强算法包装在其周围以提高预测精度），我可以获得类似的加速效果。

由于他们似乎没有发布代码，所以我想知道是否有针对这种情况优化的开源软件包或库（任何语言）。理想情况下，我想要一种可以直接从R的Matrix包装中获取稀疏矩阵的东西，但我将尽我所能。

我环顾四周，看来应该是这样的事情：

• 化学家似乎经常遇到这个问题（我上面链接的文章是关于学习寻找新的药物化合物的），但是我可以找到的实现是化学分析的专有或高度专业化的实现。不过，其中之一可能会被重新利用。

• 文档分类似乎也是从稀疏特征空间学习的一个有用的领域（大多数文档包含的单词不多）。例如，有一个倾斜的参考稀疏实施C4.5的（一个手推车类算法）在本文中，但不包含代码。

• 根据邮件列表，WEKA可以接受稀疏数据，但是与我上面链接的论文中的方法不同，WEKA在避免浪费CPU周期方面并未进行优化以实际利用它。

提前致谢！

我希望看到它们相对于RF中使用的现代CART实现的稀疏实现的基准。就该领域的进展而言，该论文已经很老了，如果它仍然可以大大提高速度，我会感到惊讶。

部分原因是，在拆分搜索中使用像Quicksort这样的聪明排序算法可以为接近恒定的特征（包括稀疏特征）提供接近O（n）的性能。快速实现还跟踪某个特征何时在树的一个分支内变为常量，并且不应再进行检查。密集特征表示以对CPU缓存友好的方式提供快速查找，因此您需要一个真正聪明的稀疏表示来在cpu周期中获胜。

这在这里，这里，这里讨论。

我实际上在我的RF包CloudForest中的某一点上实现了数据的稀疏数据表示，但是发现它比数据的密集表示要慢，并且放弃了它，尽管它确实提供了一些内存优势。

我的建议是尝试scikit学习或内置增强内容的cloudforest，看看它是否足够快。如果您想做一些非标准的事情，都可以使用自定义提升标准进行扩展。（实际上，我最初写cloudforest是为了处理大型，高维的遗传数据集，这些数据集与您所描述的非常相似）。

任何代码都可能会利用它的机会很小-您宁愿自己编写一些东西。
但是，另一种选择是转换数据以减小数据大小，从而删除冗余信息。很难知道如果没有关于数据的信息，但是也许您可以合并一些您不知道的功能，PCA的某些部分或更改某些描述符的表示？另外，如果您说您的响应也很稀疏，那么在响应中将对象降采样为0是否合理？

您是否看过R 中的caret包裹？它提供了更易于使用多种机型，包括一些递归分割，如接口rpart，ctree和ctree2。