طرق المجموعة وتعزيز التدرج

Gradient boosting is the most powerful of these — it builds trees one at a time, each correcting the errors of the last, and dominates real-world tabular machine learning.

ترتكز المجموعات على فكرة بسيطة: يمكن للعديد من المتعلمين الضعفاء، مجتمعين، أن يشكلوا مجموعة قوية. عائلتين تقودان. يقوم التعبئة (على سبيل المثال، الغابات العشوائية) بتدريب العديد من الأشجار بالتوازي على عينات عشوائية ومتوسطها، مما يقلل بشكل أساسي من التباين. تعزيز نماذج القطارات بشكل تسلسلي، يركز كل منها على الأخطاء التي ارتكبتها النماذج السابقة، مما يقلل بشكل أساسي من التحيز. يؤدي تعزيز التدرج إلى تأطير كل شجرة جديدة كخطوة تناسب التدرج السلبي - الأخطاء المتبقية - لوظيفة الخسارة حتى الآن. تضيف المكتبات مثل XGBoost وLightGBM وCatBoost التنظيم والتقسيم الذكي وحيل السرعة. فيما يتعلق بالبيانات المنظمة/الجدولية - كشف الاحتيال، والتسعير، والتصنيف - تتفوق هذه الأساليب بشكل روتيني على التعلم العميق وتفوز بأغلبية مسابقات Kaggle.