随机森林（或其他分类器）的分层分类

因此，我得到了大约60 x 1000的矩阵。我将其视为具有1000个特征的60个对象。这60个对象分为3类（a，b，c）。每个类别20个对象，我们知道真正的分类。我想在这60个训练示例集上进行有监督的学习，并且我对分类器的准确性（和相关指标）以及对1000个特征的特征选择都感兴趣。

首先，我的命名方式如何？

现在真正的问题是：

如我所述，我可以在上面添加随机森林，或者其他任何数量的分类器。但是有一个微妙之处-我真的只关心区分c类与a类和b类。我可以合并类a和b，但是有一种很好的方法来使用先验知识，即所有非c对象都可能形成两个不同的集群吗？我更喜欢使用随机森林或其变体，因为事实证明它对类似于我的数据有效。但是我可以说服我尝试其他方法。

有没有一种使用先验知识的好方法，即所有非c对象都可能形成两个不同的簇

如果您使用的是基于树的方法，那么我认为这并不重要，因为这些分类器会划分特征空间，然后查看每个类中样本的比例。因此，重要的是类c在每个终端节点中的相对出现。

但是，如果您使用的是法线，LDA等的混合体，那么将两个群集组合在一起将不是一个好主意（假设类a和b组成了唯一的群集）。在这里，您需要保留类结构以准确描述映射到a，b和c的特征空间。这些模型假定每个类的要素具有不同的正态分布。如果将a和b组合在一起，则将强制单个正态分布适合于混合物。

总而言之，对于树来说，如果您执行以下操作就无关紧要：

I.创建三个分类器（1. a vs b，2。a vs c和3. b vs c），然后使用基于投票的方法进行预测。

二。合并类a和b形成两类问题。

三，预测所有三个类别，然后将预测映射到两个类别的值（例如f（c）= c，f（a）=非c，f（b）=非c）。

但是，如果使用适合每个类的分布的方法，请避免使用II。并测试I.或III。更适合您的问题