分类和回归树背后的数学

14

有人可以帮助解释CART中分类背后的一些数学吗？我想了解两个主要阶段是如何发生的。例如，我在数据集上训练了CART分类器，并使用测试数据集来标记其预测性能，但是：

如何选择树的初始根？
每个分支为何以及如何形成？

我的数据集包含15列23类的40万条记录，从混淆矩阵中获得了100％的准确性，我对数据集使用了10倍交叉验证。如果有人能帮助解释CART分类的阶段，我将非常感激。

— Gr
source

24

CART和决策树（例如算法）通过对训练集进行递归划分来工作，以获得对给定目标类别尽可能纯的子集。树的每个节点都与特定的记录集相关联，该记录集由对功能的特定测试进行了拆分。例如，在连续的属性分裂可由试验来诱导。然后将记录集分为两个子集，这两个子集通向树的左分支和右分支。 $T$ $A$ $A \le x$ $T$

$T_l = \{ t \in T: t(A) \le x \}$

和

$T_r = \{ t \in T: t(A) > x \}$

类似地，分类特征可以用于根据其值来引起分裂。例如，如果每个分支可以由测试来诱导。 $B$ $B = \{b_1, \dots, b_k\}$ $i$ $B = b_i$

用于推导决策树的递归算法的划分步骤考虑了每个特征的所有可能划分，并根据选择的质量度量（划分标准）尝试找到最佳划分。如果您的数据集是根据以下方案得出的

A_{1}, \dots, A_{m}, C

$A_1, \dots, A_m, C$

其中是属性，是目标类，将生成所有候选拆分并通过拆分标准进行评估。如上所述，生成了连续属性和分类属性的拆分。最佳分割的选择通常通过杂质测量来进行。父节点的杂质必须通过拆分来减少。令是在记录集上引起的分裂，利用杂质测度的分裂准则为： $A_j$ $C$ $(E_1, E_2, \dots, E_k)$ $E$ $I(\cdot)$

Δ = I (E) - \sum_{i = 1}^{k} \frac{| E_{i} |}{| E |} I (E_{i})

$\Delta = I(E) - \sum_{i=1}^{k}\frac{|E_i|}{|E|}I(E_i)$

标准的杂质度量是香农熵或基尼系数。更具体地说，CART如下使用为集合定义的基尼索引。令为类中记录的分数 $E$ $p_j$ $E$ $c_j$ 那么其中是类数。

p_{j} = \frac{| {t \in E : t [C] = c_{j}} |}{| E |}

$p_j = \frac{|\{t \in E:t[C] = c_j\}|}{|E|}$

G i n i (E) = 1 - \sum_{j = 1}^{Q} p_{j}^{2}

$\mathit{Gini}(E) = 1 - \sum_{j=1}^{Q}p_j^2$

Q

$Q$

当所有记录都属于同一类时，导致零杂质。

作为一个例子，让我们说，我们有一个二进制类集记录的其中类分布为 -以下是一个很好的分裂 $T$ $(1/2, 1/2)$ $T$

拆分效果好

$T_l$ $(1,0)$ $T_r$ $(0,1)$ $T_l$ $T_r$ $|T_l|/|T| = |T_r|/|T| = 1/2$ $\Delta$

Δ = 1 - 1 / 2^{2} - 1 / 2^{2} - 0 - 0 = 1 / 2

$\Delta = 1 - 1/2^2 - 1/2^2 - 0 - 0 = 1/2$

$\Delta$ 分裂不良

Δ = 1 - 1 / 2^{2} - 1 / 2^{2} - 1 / 2 (1 - (3 / 4)^{2} - (1 / 4)^{2}) - 1 / 2 (1 - (1 / 4)^{2} - (3 / 4)^{2}) = 1 / 2 - 1 / 2 (3 / 8) - 1 / 2 (3 / 8) = 1 / 8

$\Delta = 1 - 1/2^2 - 1/2^2 - 1/2 \bigg( 1 - (3/4)^2 - (1/4)^2 \bigg) - 1/2 \bigg( 1 - (1/4)^2 - (3/4)^2 \bigg) = 1/2 - 1/2(3/8) - 1/2(3/8) = 1/8$

第一个分割将被选作最佳分割，然后算法以递归方式进行。

使用决策树对新实例进行分类很容易，实际上只要遵循从根节点到叶子的路径就足够了。记录按到达的叶子的多数类别进行分类。

假设我们要对该图上的正方形进行分类

两要素数据集

$A,B,C$ $C$ $A$ $B$

可能的诱导决策树可能如下：在此处输入图片说明

很显然，记录方将通过决策树分类为圆鉴于记录落在标有圆叶。

在这个玩具示例中，训练集的准确性为100％，因为树没有错误地分类记录。在上面训练集的图形表示中，我们可以看到树用于对新实例进行分类的边界（灰色虚线）。

关于决策树的文献很多，我只想写下一个粗略的介绍。另一个著名的实现是C4.5。

— 西蒙妮
source

1

很棒的图表！

— Cam.Davidson.Pilon

谢谢，很遗憾，该编辑器似乎不支持PDF格式的上传。他们是矢量。

— 西蒙妮

2

我不是CART的专家，但是您可以尝试免费在线获得“统计学习的要素”这本书（有关CART的信息，请参阅第9章）。我相信这本书是由CART算法的创建者之一（Friedman）写的。

— 按位
source

那很有帮助！+1精彩发现！

— G Gr 2012年

@GarrithGraham没问题，我认为这本免费书是“众所周知的秘密”。

— 按位