วิธีการทั้งมวลและการเพิ่มการไล่ระดับสี

Gradient boosting is the most powerful of these — it builds trees one at a time, each correcting the errors of the last, and dominates real-world tabular machine learning.

วงดนตรีวางอยู่บนแนวคิดที่เรียบง่าย: ผู้เรียนที่อ่อนแอจำนวนมากเมื่อรวมกันแล้วจะสามารถสร้างผู้เรียนที่เข้มแข็งได้ สองครอบครัวเป็นผู้นำ การบรรจุถุง (เช่น ป่าสุ่ม) จะฝึกต้นไม้หลายต้นขนานกันกับตัวอย่างแบบสุ่มและหาค่าเฉลี่ย ซึ่งส่วนใหญ่จะช่วยลดความแปรปรวน การส่งเสริมโมเดลรถไฟตามลำดับ โดยแต่ละโมเดลมุ่งเน้นไปที่ข้อผิดพลาดของโมเดลก่อนหน้านี้ ซึ่งช่วยลดอคติเป็นหลัก การเพิ่มความไล่ระดับสีจะกำหนดกรอบต้นไม้ใหม่แต่ละต้นเป็นขั้นตอนที่เหมาะกับการไล่ระดับสีเชิงลบ — ข้อผิดพลาดที่เหลือ — ของฟังก์ชันการสูญเสียจนถึงตอนนี้ ไลบรารีเช่น XGBoost, LightGBM และ CatBoost เพิ่มการทำให้เป็นมาตรฐาน การแยกไฟล์อย่างชาญฉลาด และลูกเล่นความเร็ว สำหรับข้อมูลที่มีโครงสร้าง/ตาราง — การตรวจจับการฉ้อโกง การกำหนดราคา และการจัดอันดับ — วิธีการเหล่านี้เอาชนะการเรียนรู้เชิงลึกเป็นประจำและชนะการแข่งขัน Kaggle ส่วนใหญ่