GINI得分与对数似然比之间的关系是什么

我正在研究分类树和回归树，拆分位置的一种方法是GINI得分。

现在，当两个分布之间相同数据的似然比的对数为零时，我习惯于确定最佳分割位置，这意味着隶属的可能性同等可能。

我的直觉说，必须存在某种联系，GINI必须在信息数学理论（Shannon）中有良好的基础，但是我对GINI的理解不够深刻，无法自己得出这种关系。

问题：

• GINI杂质评分作为分裂度量的“第一原理”推导是什么？
• GINI分数与似然比或其他信息理论基础的对数有何关系（香农熵，pdf和交叉熵是其中的一部分）？

参考文献：

• 加权基尼标准是如何定义的？
• 分类和回归树背后的数学
• http://www.cs.put.poznan.pl/jstefanowski/sed/DM-5-newtrees.pdf
  （已添加）
• http://www.ibe.med.uni-muenchen.de/organisation/mitarbeiter/020_professuren/boulesteix/pdf/gini.pdf
• https://www.youtube.com/watch?v=UMtBWQ2m04g
• http://www.ius-migration.ch/files/content/sites/imi/files/shared/documents/papers/Gini_index_fulltext.pdf
• /programming/4936788/decision-tree-learning-and-impurity

香农的熵描述为：

$$H \left(x \right) = \Sigma_{i} P\left(x_{i} \right)\log_{b} P\left(x_{i} \right)$$

将其扩展到多元情况下，我们得到：

$$H \left(X,Y \right)= \Sigma_{x}\Sigma_{y} P\left(x,y \right)\log_{b} P\left(x,y \right)$$

条件熵的定义如下：

$$\begin{align} H \left(X|Y \right) &= \Sigma_{y} p\left(x,y \right)\log_{b} \frac {p\left(x \right)} {p\left(x,y \right)} \newline &\text{or,} \newline H \left(X|Y \right) &= H \left(X,Y \right) - H \left(Y \right) \end{align}$$

似然比的对数用于突变检测，并使用这些对数得出。（我面前没有派生。）

基尼杂质：

• GINI杂质的一般形式为$I = \sum_{i=1}^m f_{i} \cdot \left( 1-f_{i}\right)$

想法：

• 分离是在一定程度的杂质下完成的。高“纯度”可能与低熵相同。该方法可能与熵最小化有关。
• 假设的基础分布很可能是均匀的，或者可能是挥手的高斯分布。他们可能混合了各种分布。
• 我想知道Shewhart图表的推导是否可以在这里适用？
• GINI杂质看起来像是二项式分布的概率密度函数的积分，其中有2次试验，一次成功。 $P(x=k)= \begin{pmatrix} 2\\ 1\end{pmatrix} p \left( 1-p \right)$

（额外）

• 该形式也与β-二项式分布一致，后者是超几何分布的共轭形式。超几何测试通常用于确定样本中哪些样本超过或不足。无论是什么，费舍尔的精确测试也都有关系（注意自我，请进一步了解此内容）。

编辑：我怀疑有一种GINI的形式可以很好地与数字逻辑和/或rb树一起使用。我希望今年秋天在一个课堂项目中对此进行探讨。

我将使用与此处相同的符号：分类树和回归树背后的数学

基尼增益和信息增益（）都是基于杂质的分割标准。唯一的区别是杂质函数：$IG$$I$

1. $\textit{Gini}: \mathit{Gini}(E) = 1 - \sum_{j=1}^{c}p_j^2$
2. $\textit{Entropy}: H(E) = -\sum_{j=1}^{c}p_j\log p_j$

实际上，它们是参数化的更一般的熵测度（Tsallis熵）的特定值：$\beta$

$$H_\beta (E) = \frac{1}{\beta-1} \left( 1 - \sum_{j=1}^{c}p_j^\beta \right)$$

$\textit{Gini}$与获得和与。$\beta = 2$$H$$\beta \rightarrow 1$

对数可能性（也称为统计量）是信息增益的线性变换：$G$

$$G\text{-statistic} = 2 \cdot |E| \cdot IG$$

根据社区（统计/数据挖掘）的不同，人们倾向于一种措施或另一种措施（此处是相关问题）。在决策树归纳过程中，它们可能几乎等效。尽管有很多类，对数似然性可能会给平衡分区带来更高的分数[技术说明：拆分标准的某些属性。Breiman 1996]。

Gini Gain可能更好，因为它没有对数，并且您可以在随机分割假设下找到其期望值和方差的闭合形式[Alin Dobra，Johannes Gehrke：分类树构造中的偏差校正。ICML 2001：90-97]。获取信息并不是那么容易（如果您有兴趣，请参见此处）。

好问题。不幸的是，我没有足够的声誉来投票或发表评论，所以请回答！

我对比率测试不是很熟悉，但是令我惊讶的是，它是一种形式主义，用于比较由两个（或多个）不同分布产生的数据的可能性，而基尼系数是单个分布的汇总统计量。

思考基尼系数（IMO）的一种有用方法是将Lorenz曲线下的面积（与cdf相关）。

使用OP中给定的熵定义，可以将Shannon的熵与Gini等同：

$H = \Sigma_{i} P\left(x_{i} \right)\log_{b} P\left(x_{i} \right)$

和基尼的定义：

$G = 1 - \frac{1}{\mu}\Sigma_i P(x_i)(S_{i-1} + S_i)$，其中

$S_i = \Sigma_{j=1}^i P(x_i)x_i$（即，直到的累积平均值）。$x_i$

不过，这看起来并不容易！