决策树和随机森林
决策树通过询问一系列简单的是/否问题（如流程图）来进行预测。
概述
A random forest combines hundreds of such trees and lets them vote, which is far more accurate and robust.
深入探讨
决策树逐步分割数据：在每个节点，它选择最能分离结果的特征和阈值，然后分支，直到达到叶子的预测。树之所以受欢迎，是因为它们易于阅读；您可以准确追踪做出决定的原因。它们的弱点是过度拟合，即深树会记住噪音并且对新数据的预测很差。随机森林通过在数据的随机子集（一种称为装袋的技术）和每次分割的特征的随机子集上训练许多树来解决这个问题。这些树会犯不同的错误，因此对它们的投票进行平均可以抵消个别错误。其结果是表格数据最可靠、低调整的算法之一，在深度学习之前被广泛使用。
技术洞察
选择每次分割都是为了最大限度地提高“纯度”。分类树最大限度地减少基尼杂质或熵；回归树最小化方差（平方误差）。随机森林添加了两个随机性来源：引导采样（每棵树都会看到一个带有替换的随机样本）和每次分割时的随机特征选择。这使树去相关，因此它们的平均预测的方差比任何单棵树低得多，而不会增加太多偏差。每棵树的引导程序中留下的袋外样本给出了内置的验证估计。
战略影响
更清晰的判决
它可以帮助您将清晰的技术声明与营销语言分开。
成本与预算
在花费金钱或时间之前，您可以提出更好的实施问题。
团队与工作流程
具有共同理解的团队可以做出更好的产品、政策和学习决策。
决策树和随机森林的未来
普通随机森林仍然是首选基线，但焦点已转移到 XGBoost、LightGBM 和 CatBoost 等梯度增强树，它们按顺序构建树以纠正早期错误，并且通常在表格数据竞争中名列前茅。这些树集成在许多结构化数据集上继续优于神经网络。预计速度、GPU 训练，尤其是 SHAP 等可解释性工具方面的工作将会持续进行，因为可解释性是受监管行业不断选择基于树的模型而不是黑盒深度学习的关键原因。
现实世界的实施
信用评分和贷款审批，银行重视清晰、可审计的决策路径。
医疗风险预测，标记哪些患者因素导致诊断或警报。
根据表格帐户和使用数据预测客户流失。
特征重要性分析，对数据集中最重要的变量进行排名。
风险与防护栏
不同的团队可能会以不同的方式使用同一术语，因此请尽早定义范围。
基准测试可能看起来很强大，但实际性能却参差不齐。
忽视数据质量和评估计划通常会产生脆弱的结果。
实施路线图
从您需要的结果的简单语言定义开始。
在测试之前选择一种成功指标和一种失败条件。
使用代表性数据运行小型试点，而不是完善的演示集。
记录决策树和随机森林在哪些方面有帮助以及在哪些方面更简单的方法更好。
不断探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Decision Trees and Random Forests quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常见问题
What is Decision Trees and Random Forests?
决策树通过询问一系列简单的是/否问题（如流程图）来进行预测。随机森林结合了数百棵这样的树并让它们投票，这更加准确和稳健。
决策树如何做出预测？
决策树通过有关其特征的分支问题路由输入，直到到达给出预测的叶子。
单一深度决策树的主要弱点是什么？
深树可能与训练数据拟合得太紧密，从而捕获噪声并且无法很好地推广到新示例。
随机森林如何改进单棵树？
通过训练许多去相关的树并求平均或投票，森林消除了单个树的错误并减少了过度拟合。
随机森林中的“bagging”指的是什么？
装袋（引导聚合）为每棵树提供了一个带有替换的随机样本，因此树有所不同，并且它们的平均值更稳定。
分类树通常使用什么指标来选择分割？
分类树选择最能减少基尼不纯度或熵的分割，基尼不纯度或熵是衡量节点上类的混合程度的指标。