基尼杂质

决策树分类器递归地将数据划分为区域。在每个候选分割中，树需要一个标准来确定结果子节点如何很好地分离类标签。节点的基尼不纯度为 1 减去类比例平方和。对于比例为 p_k 的类，G = 1 - sum(p_k 平方)。纯节点的一个比例等于 1，其他所有比例为零，因此 G 为零。在平衡比例为 0.5 和 0.5 的二元节点中，G 为 0.5，是两个类的最大值。对于具有 8 个阳性病例和 2 个阴性病例的假设节点，比例为 0.8 和 0.2。计算结果为 1 - (0.64 + 0.04) = 0.32。如果根据节点的类比例随机抽取标签来分配标签，则该分数可以解释为错误分类的概率，尽管经过训练的树通常会预测多数类。 CART 通过子代的加权平均杂质来评估候选分裂，并根据其在父观察中的份额对每个子代进行加权。杂质减少量是父杂质减去该加权子杂质。因此，一个看起来空虚或很小的孩子不会自动使分裂变得有用。最小叶子尺寸、深度和修剪等树约束也会影响最终模型。基尼在计算上很方便，因为它避免了对数，而熵使用 -sum(p log p) 并且可以类似地但不一定相同地对候选分割进行排名。基尼杂质与数据集的整体类别不平衡、模型预测错误的概率或保留数据的评估分数不同。它是在节点上根据那里存在的标签在本地计算的。一棵树可以通过深入生长来获得纯粹的训练叶子，但泛化能力仍然很差。通过适当的分割来评估完整模型，并检查特定于类的误差、需要时的校准和稳定性。杂质标准指导施工；它没有确定特征是否具有因果关系或预测是否有用。