我认为在构建决策树的上下文中提到了熵。
为了说明这一点，想象的任务学习到分类第一名称为男性/女性群体。给出了一个名称列表，每个名称都用m或标记f，我们想学习一个适合数据的模型，并可以用来预测新的看不见的名字的性别。
name gender
----------------- Now we want to predict
Ashley f the gender of "Amro" (my name)
Brian m
Caroline f
David m
第一步是确定数据的哪些特征与我们要预测的目标类别相关。一些示例功能包括：首字母/后字母，长度，元音数量，以元音结尾等。因此，在提取特征后，我们的数据如下所示：
# name ends-vowel num-vowels length gender
# ------------------------------------------------
Ashley 1 3 6 f
Brian 0 2 5 m
Caroline 1 4 8 f
David 0 2 5 m
目标是建立决策树。一棵树的例子是：
length<7
| num-vowels<3: male
| num-vowels>=3
| | ends-vowel=1: female
| | ends-vowel=0: male
length>=7
| length=5: male
基本上，每个节点都代表对单个属性执行的测试，我们根据测试结果向左或向右移动。我们不断遍历树，直到到达包含类预测（m或f）的叶节点
因此，如果我们在这棵树下运行名称Amro，我们首先测试“ 是否length <7？ ”，答案是是，因此我们沿该分支向下进行。在分支之后，下一个测试“ 元音的数量是否<3？ ”再次求值为true。这导致标记为的叶节点m，因此预测是男性的（我碰巧是男性，因此树正确地预测了结果）。
决策树以自上而下的方式构建，但问题是如何选择在每个节点上拆分哪个属性？答案是找到一种功能，该功能可以将目标类最好地拆分为可能的最纯子节点（即，不包含男性和女性混合的节点，而只有一个类的纯节点）。
这种纯度的度量称为信息。它代表了预期的量的信息，将需要指定一个新的实例（直呼其名）是否应归类男性或女性，因为到达节点的例子。我们根据节点上男性和女性类别的数量进行计算。
另一方面，熵是杂质的量度（相反）。它是为具有/值的二进制类定义的：ab
Entropy = - p(a)*log(p(a)) - p(b)*log(p(b))
下图描述了此二进制熵函数（随机变量可以采用两个值之一）。当概率为时p=1/2，它达到最大值，这意味着p(X=a)=0.5或类似地p(X=b)=0.5有50％/ 50％的概率为a或b（不确定性最大）。当概率为p=1或p=0具有完全确定性（p(X=a)=1或p(X=a)=0分别暗示p(X=b)=1）时，熵函数为零最小值。
当然，熵的定义可以推广到具有N个结果（不只是两个）的离散随机变量X：
（log公式中的通常是以2为底的对数）
回到我们的名称分类任务，让我们看一个例子。想象一下在构建树的过程中的某个时候，我们正在考虑以下拆分：
ends-vowel
[9m,5f] <--- the [..,..] notation represents the class
/ \ distribution of instances that reached a node
=1 =0
------- -------
[3m,4f] [6m,1f]
如您所见，在拆分之前，我们有9位男性和5位女性，即P(m)=9/14和P(f)=5/14。根据熵的定义：
Entropy_before = - (5/14)*log2(5/14) - (9/14)*log2(9/14) = 0.9403
接下来，我们将其与考虑两个子分支的拆分后计算出的熵进行比较。在的左分支中ends-vowel=1，我们有：
Entropy_left = - (3/7)*log2(3/7) - (4/7)*log2(4/7) = 0.9852
和的右分支ends-vowel=0，我们有：
Entropy_right = - (6/7)*log2(6/7) - (1/7)*log2(1/7) = 0.5917
我们使用每个分支下的实例数作为权重因子来组合左/右熵（权重为7个实例，右边为7个实例），并在拆分后获得最终熵：
Entropy_after = 7/14*Entropy_left + 7/14*Entropy_right = 0.7885
现在，通过比较拆分前后的熵，我们可以获得信息增益的度量，或者通过使用该特定功能进行拆分可以获取多少信息：
Information_Gain = Entropy_before - Entropy_after = 0.1518
您可以按以下方式解释上述计算：通过对end-vowels特征进行拆分，我们能够将子树预测结果的不确定性减少少量0.1518（以位为单位作为信息单位）。
在树的每个节点上，对每个特征都执行此计算，并且以贪婪的方式为分割选择具有最大信息增益的特征（因此倾向于生成具有低不确定性/熵的纯分割的特征）。从根节点开始递归应用此过程，当叶节点包含所有具有相同类的实例时，该过程将停止（无需进一步拆分）。
请注意，我跳过了一些超出本文范围之外的细节，包括如何处理数字特征，缺失值，过度拟合和修剪树等。