तकनीकी गाइड
लक्ष्य एन्कोडिंग
लक्ष्य एन्कोडिंग किसी श्रेणी को अनुमत प्रशिक्षण डेटा में उस श्रेणी के लिए देखे गए परिणाम के संख्यात्मक सारांश से बदल देती है।
इस गाइड को सुनेंएआई-नैरेटेड · ~3 min
इस पृष्ठ पर3 मिनट लाल
सिंहावलोकन
यह कई अलग-अलग मूल्यों के साथ श्रेणीबद्ध इनपुट को मॉडल करना आसान बना सकता है, लेकिन रिसाव से बचने के लिए इसमें प्रशिक्षण लेबल को सावधानीपूर्वक अलग करने की आवश्यकता होती है।
गहरा गोता
श्रेणीबद्ध विशेषताएँ डिपो, आपूर्तिकर्ताओं या उत्पाद प्रकार जैसे समूहों का वर्णन करती हैं। वन-हॉट एन्कोडिंग प्रत्येक श्रेणी के लिए एक अलग संकेतक बनाता है। कई श्रेणियों के साथ, लक्ष्य एन्कोडिंग एक और प्रतिनिधित्व प्रदान करती है: प्रत्येक श्रेणी को परिणाम सारांश के साथ बदलें, जैसे कि प्रतिगमन के लिए औसत विलंब या बाइनरी वर्गीकरण के लिए सकारात्मक-परिणाम दर। उपयोगी संकेत भी जोखिम का स्रोत है. एक श्रेणी की कल्पना करें जो एक बार दिखाई देती है। इसका असम्बद्ध श्रेणी माध्य उस पंक्ति का परिणाम है। यदि यह मान उसी पंक्ति की भविष्यवाणी के लिए एक इनपुट बन जाता है, तो मॉडल को उत्तर दिया जा रहा है। इस सेटअप में मजबूत प्रशिक्षण प्रदर्शन नए डेटा पर गायब हो सकता है। क्रॉस-फिटिंग सुरक्षित प्रशिक्षण प्रतिनिधित्व बनाने में मदद करती है। प्रशिक्षण डेटा को तहों में विभाजित करें, अन्य तहों का उपयोग करके श्रेणी सारांशों की गणना करें, और उन सारांशों के साथ होल्ड-आउट तह को एन्कोड करें। तब तक दोहराएं जब तक कि प्रत्येक प्रशिक्षण पंक्ति में अपने स्वयं के फोल्ड के लेबल के बिना एक एन्कोडिंग न बन जाए। डाउनस्ट्रीम मॉडल इन अभ्यावेदन से सीखता है। मूल्यांकन या भविष्यवाणी के समय, अनुमत प्रशिक्षण डेटा से सीखी गई मैपिंग लागू करें। स्मूथिंग कुछ अवलोकनों वाली श्रेणियों के सारांश को वैश्विक प्रशिक्षण माध्य की ओर खींचकर उनके प्रभाव को कम कर देता है। एक दुर्लभ डिपो को केवल एक असामान्य डिलीवरी के कारण अत्यधिक एन्कोडिंग प्राप्त नहीं होनी चाहिए। स्मूथिंग की मात्रा एक मॉडलिंग विकल्प है जिसे सत्यापन की आवश्यकता है। स्किकिट-लर्न का TargetEncoder एक महत्वपूर्ण अंतर दर्ज करता है: फिट_ट्रांसफॉर्म आंतरिक क्रॉस-फिटिंग का उपयोग करता है, जबकि समान प्रशिक्षण डेटा को फिट करना और फिर बदलना समतुल्य सुरक्षा प्रदान नहीं करता है। यह न मानें कि प्रत्येक लाइब्रेरी समान व्यवहार लागू करती है। एनकोडर को मूल्यांकन पाइपलाइन के भीतर रखें, परिभाषित करें कि अनदेखी श्रेणियों को कैसे प्रबंधित किया जाता है, और जब समय क्रम या बार-बार इकाइयां सामान्य यादृच्छिक सिलवटों को अनुपयुक्त बना देती हैं तो विभाजन रणनीति को अनुकूलित करें।
वास्तविक विश्व कार्यान्वयन
एक डिलीवरी मॉडल प्रशिक्षण डेटा से गणना की गई ऐतिहासिक औसत देरी का उपयोग करके एक डिपो का प्रतिनिधित्व करता है। उसी सीखी गई मैपिंग को उनके परिणामों को देखे बिना मूल्यांकन रिकॉर्ड पर लागू किया जाता है।
एक काल्पनिक स्मूथिंग नियम में, 10 और 20 के दो परिणामों वाली एक श्रेणी को 6 के वैश्विक औसत पर चार पूर्व टिप्पणियों के साथ जोड़ा जाता है। स्मूथ मान (30 प्लस 24) को छह या 9 से विभाजित किया जाता है।
एक प्रशिक्षण तह में केवल एक पंक्ति में दिखाई देने वाली श्रेणी होती है। उस पंक्ति को उसके स्वयं के परिणाम से एन्कोड करने से उसका लेबल प्रकट हो जाएगा, इसलिए टीम अन्य तहों से अपना प्रशिक्षण प्रतिनिधित्व तैयार करती है।
एक विश्लेषक पाइपलाइन में स्किकिट-लर्न के TargetEncoder का उपयोग करता है। वे यह मानने के बजाय कि फिट के बाद ट्रांसफॉर्मेशन फिट_ट्रांसफॉर्म के बराबर है, इसके प्रलेखित क्रॉस-फिटिंग व्यवहार की जांच करते हैं।
लक्ष्य एन्कोडिंग का भविष्य
श्रेणीबद्ध एनकोडर उपयोगी रहेंगे जहां परिचालन डेटा में बड़ी संख्या में बदलते पहचानकर्ता शामिल होंगे। टीमें नई श्रेणियों, दुर्लभ श्रेणियों और उनके परिणाम पैटर्न में बदलाव की निगरानी करके विश्वसनीयता में सुधार कर सकती हैं। उन्हें प्रत्येक तैनात मॉडल के साथ प्रशिक्षण कटऑफ और एनकोडर संस्करण भी बनाए रखना चाहिए, ताकि उपयोग की गई मैपिंग से भविष्यवाणी का पता लगाया जा सके। स्वचालित पाइपलाइनें रिसाव की जाँच को आसान बना सकती हैं, लेकिन मुख्य डिज़ाइन निर्णय मानवीय रहता है: यह निर्धारित करें कि जब भविष्यवाणी की गई होगी तो कौन से परिणाम उपलब्ध थे, और सुनिश्चित करें कि प्रत्येक व्युत्पन्न सुविधा उस सीमा का सम्मान करती है।
इसे व्यवहार में लाना
यह क्यों मायने रखता है?
- लागत और बजट. वास्तुकला संबंधी निर्णय वर्षों तक प्रदर्शन और परिचालन लागत को संचालित करते हैं।
- स्पष्ट निर्णय. तकनीकी शिक्षा टीमों को सही स्टैक चुनने में मदद करती है, न कि केवल नवीनतम स्टैक चुनने में।
- गुणवत्ता नियंत्रण. बेहतर इंजीनियरिंग विकल्प उत्पादन में विश्वसनीयता की घटनाओं को कम करते हैं।
का ध्यान रखें
- एक बेंचमार्क को अनुकूलित करने से व्यापक सिस्टम कमजोरियों को छुपाया जा सकता है।
- बुनियादी ढांचे और रखरखाव की लागत को अक्सर कम करके आंका जाता है।
- जैसे-जैसे सिस्टम अधिक जटिल होते जाएंगे सुरक्षा और अवलोकन संबंधी अंतराल बढ़ सकते हैं।
अगले चरण
- कार्यान्वयन से पहले विलंबता, गुणवत्ता और लागत लक्ष्य परिभाषित करें।
- यथार्थवादी लोड और डेटा स्थितियों के तहत बेंचमार्क।
- त्रुटियों, बहाव और उपयोगकर्ता प्रभाव के लिए उपकरण निगरानी।
- स्केलिंग से पहले रोलबैक और घटना प्रतिक्रिया पथ तैयार करें।
अन्वेषण करते रहें
मुफ़्त न्यूज़लेटर
दैनिक एआई ब्रीफिंग प्राप्त करें
हर कार्यदिवस की सुबह तीन सत्यापित एआई कहानियाँ, सादे अंग्रेजी में लिखी गईं। हमेशा के लिए मुफ़्त, कोई विज्ञापन नहीं।
प्रत्येक सप्ताह के दिन एक ईमेल. एक क्लिक में सदस्यता समाप्त करें. हम आपका पता कभी नहीं बेचते या साझा नहीं करते।
स्वयं की जांच करो
टारगेट एन्कोडिंग क्विज़ लें
प्रत्येक उत्तर पर त्वरित प्रतिक्रिया, और पाठ्यक्रम पास करने के बाद एक सत्यापन योग्य आईडी के साथ एक साझा करने योग्य प्रमाणपत्र।
निःशुल्क एआई शिक्षा का समर्थन करें। AI Understanding एक 501(c)(3) गैर-लाभकारी संस्था है - कोई विज्ञापन नहीं, कोई पेवॉल नहीं। दान करें
अक्सर पूछे जाने वाले प्रश्नों
लक्ष्य एन्कोडिंग क्या है?
लक्ष्य एन्कोडिंग किसी श्रेणी को अनुमत प्रशिक्षण डेटा में उस श्रेणी के लिए देखे गए परिणाम के संख्यात्मक सारांश से बदल देती है। यह कई अलग-अलग मूल्यों के साथ श्रेणीबद्ध इनपुट को मॉडल करना आसान बना सकता है, लेकिन रिसाव से बचने के लिए इसमें प्रशिक्षण लेबल को सावधानीपूर्वक अलग करने की आवश्यकता होती है।
एक प्रशिक्षण पंक्ति में एक श्रेणी होती है। उस पंक्ति के असम्बद्ध लक्ष्य माध्य को अपने इनपुट के रूप में उपयोग करना खतरनाक क्यों है?
केवल एक अवलोकन के साथ, श्रेणी माध्य अपने लक्ष्य के बराबर होता है, जिससे उत्तर इनपुट में लीक हो जाता है।
क्रॉस-फिटिंग के दौरान होल्ड-आउट फोल्ड को लक्ष्य एन्कोडिंग कैसे प्राप्त होनी चाहिए?
अन्य फोल्ड श्रेणी के आँकड़े प्रदान करते हैं इसलिए होल्ड-आउट फोल्ड के लेबल इसके प्रतिनिधित्व को परिभाषित नहीं करते हैं।
गाइड के स्मूथिंग उदाहरण का उपयोग करते हुए, 30 के लक्ष्य योग, दो की गिनती, वैश्विक माध्य छह और पूर्व भार चार से क्या मूल्य निकलता है?
अंश 30 जमा चार गुना छह या 54 है। हर दो जमा चार या छह है। परिणाम नौ है.
स्मूथिंग एक दुर्लभ श्रेणी के अनुमान को वैश्विक प्रशिक्षण की ओर क्यों खींचती है?
छोटे नमूने अस्थिर चरम सीमाएँ उत्पन्न कर सकते हैं, और व्यापक प्रशिक्षण आबादी से जानकारी का उपयोग करके उनके प्रभाव को कम कर सकते हैं।
प्रशिक्षण डेटा को एन्कोड करते समय कौन सा स्किकिट-लर्न TargetEncoder ऑपरेशन आंतरिक क्रॉस-फिटिंग का उपयोग करता है?
प्रलेखित फिट_ट्रांसफॉर्म व्यवहार में क्रॉस-फिटिंग शामिल है; समान पंक्तियों पर फ़िट के बाद परिवर्तन समतुल्य नहीं है।
सीखते रहो
संबंधित मार्गदर्शिकाएँ
इस विषय के लिए अधिक मार्गदर्शिकाएँ चुनी गईं