在功能重要性的上下文中解释决策树

我试图了解如何完全理解使用sklearn构建的决策树分类模型的决策过程。我要看的2个主要方面是树的graphviz表示形式和功能重要性列表。我不了解的是如何在树的上下文中确定功能的重要性。例如，这是我的功能重要性列表：

功能排名：1. FeatureA（0.300237）

2. FeatureB（0.166800）

3. FeatureC（0.092472）

4. 精选（0.075009）

5. FeatureE（0.068310）

6. FeatureF（0.067118）

7. FeatureG（0.066510）

8. FeatureH（0.043502）

9. FeatureI（0.040281）

10. FeatureJ（0.039006）

11. FeatureK（0.032618）

12. FeatureL（0.008136）

13. FeatureM（0.000000）

但是，当我查看树的顶部时，它看起来像这样：

实际上，某些排名为“最重要”的要素要到树下很远时才会出现，而树的顶部是FeatureJ，这是排名最低的要素之一。我天真的假设是，最重要的功能将排在树的顶部附近，以产生最大的影响。如果那是不正确的，那么什么使功能“重要”？

一个功能越重要，那么它在决策树上的节点就越高。

这仅仅是因为在这两种情况中的每种情况下（分裂与重要性）都可以使用不同的标准（例如，基尼杂质，熵信息增益，MSE等）。

例如，SkLearn您可以根据熵信息增益标准（请参阅criterion和'entropy'在SkLearn）选择在决策树上对节点进行拆分，而要素的重要性由基尼重要性给出，这是基尼的平均降低给定变量在随机森林的所有树中的杂质（请参阅feature_importances_at SkLearn和here）。

如果我是正确的话，SkLearn即使您选择根据基尼不纯准则在决策树上拆分节点，这同样适用，而功能的重要性由基尼重要性提供，因为基尼杂质和基尼重要性并不相同（另见本和本＃2约基尼重要性）。

在scikit-learn中，功能的重要性在于节点杂质的减少。关键是它仅在节点级别衡量重要性。然后，通过有多少样本到达该节点来对所有节点进行加权。

因此，如果在第一次拆分之后只有几个样本最终出现在左节点，则这并不意味着J是最重要的功能，因为左节点上的增益可能只会影响很少的样本。如果您另外打印出每个节点中的样本数量，则可能会更好地了解正在发生的情况。

仅仅因为树上的节点较低并不意味着它的重要性就不那么重要了。sci-kitlearn中功能的重要性是通过节点将类分离的纯粹程度（Gini索引）来计算的。您甚至会注意到，即使在裁剪好的树中，A也要比J分裂三倍，并且A节点中的熵得分（与Gini相似的纯度度量）也比J高。

但是，如果您只能选择一个节点，则将选择J，因为这将导致最佳的预测。但是，如果您可以选择让许多节点做出几个不同的决定，那么A将是最佳选择。

通过删除变量时模型准确性的降低来衡量变量的重要性。使用不带变量的新模型创建的新决策树可能看起来与原始树非常不同。在考虑模型中的所有变量的同时，完成了图中的拆分决策。

在根（和其他节点）处拆分的变量由杂质测量。良好的纯度（例如：左分支中的所有对象都具有相同的目标值）不能保证良好的准确性。您的数据可能偏斜，右分支的响应比左分支更多。因此，仅对左分支正确分类是没有好处的，我们还需要考虑右分支。因此，对于整体模型的准确性，分割变量可能不是重要变量。

变量重要性是变量选择的更好方法。