決策樹與隨機森林
決策樹透過詢問一系列簡單的是/否問題（如流程圖）來進行預測。
概述
A random forest combines hundreds of such trees and lets them vote, which is far more accurate and robust.
深入探討
決策樹逐步分割資料：在每個節點，它選擇最能分離結果的特徵和閾值，然後分支，直到達到葉子的預測。樹之所以受歡迎，是因為它們易於閱讀；您可以準確追蹤做出決定的原因。它們的弱點是過度擬合，即深樹會記住雜訊並且對新資料的預測很差。隨機森林透過在資料的隨機子集（一種稱為裝袋的技術）和每次分割的特徵的隨機子集上訓練許多樹來解決這個問題。這些樹會犯不同的錯誤，因此對它們的投票進行平均可以抵消個別錯誤。其結果是表格資料最可靠、低調整的演算法之一，在深度學習之前被廣泛使用。
技術洞察
選擇每次分割都是為了最大限度地提高「純度」。分類樹最大限度地減少基尼雜質或熵；回歸樹最小化變異數（平方誤差）。隨機森林增加了兩個隨機性來源：引導採樣（每棵樹都會看到一個帶有替換的隨機樣本）和每次分割時的隨機特徵選擇。這使樹去相關，因此它們的平均預測的變異數比任何單棵樹低得多，而不會增加太多偏差。每棵樹的引導程式中留下的袋外樣本給出了內建的驗證估計。
戰略影響
更明確的決策
它可以幫助您將清晰的技術聲明與行銷語言分開。
成本與預算
在花費金錢或時間之前，您可以提出更好的實施問題。
團隊與工作流程
具有共同理解的團隊可以做出更好的產品、政策和學習決策。
決策樹與隨機森林的未來
普通隨機森林仍然是首選基線，但焦點已轉移到 XGBoost、LightGBM 和 CatBoost 等梯度增強樹，它們按順序構建樹以糾正早期錯誤，並且通常在表格數據競爭中名列前茅。這些樹整合在許多結構化資料集上繼續優於神經網路。預計速度、GPU 訓練，尤其是 SHAP 等可解釋性工具的工作將會持續進行，因為可解釋性是受監管行業不斷選擇基於樹的模型而不是黑盒深度學習的關鍵原因。
現實世界的實施
信用評分和貸款審批，銀行重視清晰、可審計的決策路徑。
醫療風險預測，標記哪些患者因素導致診斷或警報。
根據表格帳戶和使用資料預測客戶流失。
特徵重要性分析，將資料集中最重要的變數進行排名。
風險與防護欄
不同的團隊可能會以不同的方式使用相同術語，因此請儘早定義範圍。
基準測試可能看起來很強大，但實際效能卻參差不齊。
忽視數據品質和評估計劃通常會產生脆弱的結果。
實施路線圖
從您需要的結果的簡單語言定義開始。
在測試之前選擇一種成功指標和一種失敗條件。
使用代表性資料運行小型試點，而不是完善的演示集。
記錄決策樹和隨機森林在哪些方面有幫助以及在哪些方面更簡單的方法更好。
不斷探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Decision Trees and Random Forests quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常見問題
What is Decision Trees and Random Forests?
決策樹透過詢問一系列簡單的是/否問題（如流程圖）來進行預測。隨機森林結合了數百棵這樣的樹並讓它們投票，這更加準確和穩健。
決策樹如何做出預測？
決策樹透過有關其特徵的分支問題路由輸入，直到到達給出預測的葉子。
單一深度決策樹的主要弱點是什麼？
深樹可能與訓練資料擬合得太緊密，從而捕獲雜訊並且無法很好地推廣到新範例。
隨機森林如何改良單棵樹？
透過訓練許多去相關的樹並求平均或投票，森林消除了單一樹的錯誤並減少了過度擬合。
隨機森林中的「bagging」指的是什麼？
裝袋（引導聚合）為每棵樹提供了一個帶有替換的隨機樣本，因此樹有所不同，並且它們的平均值更穩定。
分類樹通常使用什麼指標來選擇分割？
分類樹選擇最能減少基尼不純度或熵的分割，基尼不純度或熵是衡量節點上類別的混合程度的指標。