XGBoost एल्गोरिथम

ग्रेडिएंट बूस्टिंग क्रमिक शिक्षार्थियों के योगदान के योग के रूप में एक भविष्यवाणी बनाता है। प्रत्येक दौर में, एक नया शिक्षार्थी वर्तमान मॉडल की त्रुटियों या ग्रेडिएंट्स के आधार पर एक उद्देश्य में सुधार करने के लिए उपयुक्त होता है। XGBoost ने इस सामान्य दृष्टिकोण के कुशल, नियमित कार्यान्वयन को लोकप्रिय बनाया, विशेष रूप से ट्री बूस्टर के लिए। यह एक निश्चित मॉडल कॉन्फ़िगरेशन के बजाय एक लाइब्रेरी और एल्गोरिदम परिवार है। वृक्ष को बढ़ावा देने के लिए, एक वृक्ष मौजूदा भविष्यवाणियों में एक संरचित सुधार जोड़ता है। उद्देश्य में हानि की अवधि और दंड शामिल हो सकते हैं जो अत्यधिक जटिल पेड़ों या बड़े पत्तों के स्कोर को हतोत्साहित करते हैं। सामान्य सेटिंग्स पेड़ की गहराई या पत्ती की गिनती, प्रत्येक नए पेड़ पर लागू चरण आकार, बूस्टिंग राउंड की संख्या और पंक्ति या फीचर सबसैंपलिंग को नियंत्रित करती हैं। ये सेटिंग्स इंटरैक्ट करती हैं: छोटे चरणों के लिए अक्सर अधिक राउंड की आवश्यकता होती है, जबकि बड़ी ट्री जटिलता इंटरैक्शन को फिट कर सकती है लेकिन ओवरफिट भी कर सकती है। एक उपयोगी वर्कफ़्लो एक स्पष्ट उद्देश्य और मूल्यांकन डिज़ाइन के साथ शुरू होता है। तैनाती को प्रतिबिंबित करने के लिए डेटा को विभाजित करें, खासकर जब पंक्तियाँ लोगों, स्थानों या समय को साझा करती हैं। सत्यापन डेटा या क्रॉस-वैलिडेशन का उपयोग करके ट्यून करें जो उन बाधाओं का सम्मान करता है, फिर आयोजित परीक्षण सेट पर एक बार मूल्यांकन करें। एप्लिकेशन द्वारा अपेक्षित उचित मेट्रिक्स और अंशांकन या उपसमूह व्यवहार का निरीक्षण करें। यह अनुमान न लगाएं कि एक उच्च लीडरबोर्ड स्कोर एक अलग आबादी में स्थानांतरित हो जाएगा। XGBoost की इंजीनियरिंग विशेषताओं में अनुकूलित वृक्ष निर्माण, विरल-जागरूक प्रसंस्करण, और बूस्टर और निर्माण के आधार पर वितरित या त्वरक निष्पादन शामिल हो सकते हैं। विवरण संस्करण और कॉन्फ़िगरेशन के अनुसार भिन्न-भिन्न होते हैं। ट्री बूस्टर अक्सर गैर-रेखीय इंटरैक्शन के साथ विषम सारणीबद्ध इनपुट पर अच्छा काम करते हैं, लेकिन वे स्वाभाविक रूप से हर कार्य के लिए सर्वोत्तम नहीं होते हैं। रैखिक मॉडल, यादृच्छिक वन, कैटबूस्ट, लाइटजीबीएम, तंत्रिका नेटवर्क और डोमेन-विशिष्ट बेसलाइन विभिन्न बाधाओं के तहत बेहतर फिट हो सकते हैं। प्रशिक्षण और अनुमान के बीच फीचर प्रोसेसिंग और लापता-मूल्य सम्मेलनों को सुसंगत रखें। लाइब्रेरी संस्करण, उद्देश्य, मूल्यांकन मीट्रिक और पैरामीटर रिकॉर्ड करें। एक परिनियोजन योग्य मॉडल के लिए, केवल एक परीक्षण मीट्रिक द्वारा चयन करने के बजाय विलंबता, मेमोरी, मजबूती और रखरखाव लागत को भी मापें।