GINI得分与对数似然比之间的关系是什么
我正在研究分类树和回归树，拆分位置的一种方法是GINI得分。 现在，当两个分布之间相同数据的似然比的对数为零时，我习惯于确定最佳分割位置，这意味着隶属的可能性同等可能。 我的直觉说，必须存在某种联系，GINI必须在信息数学理论（Shannon）中有良好的基础，但是我对GINI的理解不够深刻，无法自己得出这种关系。 问题： GINI杂质评分作为分裂度量的“第一原理”推导是什么？ GINI分数与似然比或其他信息理论基础的对数有何关系（香农熵，pdf和交叉熵是其中的一部分）？ 参考文献： 加权基尼标准是如何定义的？ 分类和回归树背后的数学 http://www.cs.put.poznan.pl/jstefanowski/sed/DM-5-newtrees.pdf （已添加） http://www.ibe.med.uni-muenchen.de/organisation/mitarbeiter/020_professuren/boulesteix/pdf/gini.pdf https://www.youtube.com/watch?v=UMtBWQ2m04g http://www.ius-migration.ch/files/content/sites/imi/files/shared/documents/papers/Gini_index_fulltext.pdf /programming/4936788/decision-tree-learning-and-impurity 香农的熵描述为： H(x)=ΣiP(xi)logbP(xi)H(x)=ΣiP(xi)logbP(xi) H \left(x \right) = \Sigma_{i} P\left(x_{i} \right)\log_{b} P\left(x_{i} \right) 将其扩展到多元情况下，我们得到： H(X,Y)=ΣxΣyP(x,y)logbP(x,y)H(X,Y)=ΣxΣyP(x,y)logbP(x,y) H \left(X,Y \right)= \Sigma_{x}\Sigma_{y} P\left(x,y \right)\log_{b} P\left(x,y \right) 条件熵的定义如下： H(X|Y)H(X|Y)=Σyp(x,y)logbp(x)p(x,y)or,=H(X,Y)−H(Y)H(X|Y)=Σyp(x,y)logbp(x)p(x,y)or,H(X|Y)=H(X,Y)−H(Y)\begin{align} H \left(X|Y \right) &= \Sigma_{y} p\left(x,y \right)\log_{b} \frac {p\left(x \right)} {p\left(x,y \right)} …