आगेअगली गाइड
Representation and Sampling Bias in Datasets
तकनीकी
तकनीकी गाइड
अनुसूचित नमूनाकरण और एक्सपोज़र पूर्वाग्रह
एक्सपोज़र पूर्वाग्रह वह अंतर है जो तब प्रकट होता है जब एक मॉडल को केवल सही उपसर्गों पर प्रशिक्षित किया जाता है, अनुमान के अनुसार, अपने स्वयं के अपूर्ण आउटपुट पर शर्त लगानी होती है।
इस गाइड को सुनेंएआई-नैरेटेड · ~2 min
इस पृष्ठ पर2 मिनट लाल
सिंहावलोकन
अनुसूचित नमूनाकरण एक ऐसा पाठ्यक्रम है जो धीरे-धीरे उस अंतर को पाटता है।
गहरा गोता
शिक्षक बल से प्रशिक्षित मॉडल केवल जमीनी सच्चाई के टोकन को संदर्भ के रूप में देखते हैं, लेकिन पीढ़ी के समय वे अपनी स्वयं की भविष्यवाणियों को वापस देते हैं। जब कोई प्रारंभिक गलती मॉडल को ऐसी स्थिति में ले आती है जिसका उसने प्रशिक्षण के दौरान कभी सामना नहीं किया था, तो त्रुटियां स्नोबॉल हो सकती हैं, एक विफलता मोड जिसे एक्सपोज़र पूर्वाग्रह कहा जाता है। 2015 में बेंगियो और सहकर्मियों द्वारा शुरू किया गया शेड्यूल्ड सैंपलिंग, प्रशिक्षण के दौरान प्रत्येक डिकोडिंग चरण पर एक सिक्का उछालकर इसे संबोधित करता है: कुछ संभावना के साथ यह सही टोकन (शिक्षक को मजबूर करना) को फीड करता है और अन्यथा यह मॉडल की अपनी नमूना भविष्यवाणी को फीड करता है। जमीनी सच्चाई का उपयोग करने की संभावना एक के करीब शुरू होती है और एक शेड्यूल (रैखिक, घातांक, या व्युत्क्रम-सिग्मॉइड) के माध्यम से प्रशिक्षण के दौरान कम हो जाती है, इसलिए मॉडल उत्तरोत्तर अपने स्वयं के आउटपुट के संपर्क में आता है और अपनी गलतियों से उबरना सीखता है।
वास्तविक विश्व कार्यान्वयन
एक छवि-कैप्शनिंग मॉडल को निर्धारित नमूने के साथ प्रशिक्षित करना ताकि यह एक अपूर्ण पूर्वानुमानित शब्द के बाद शान से जारी रखना सीख सके
तंत्रिका मशीन अनुवाद प्रणाली में व्युत्क्रम-सिग्मॉइड शेड्यूल के साथ शिक्षक-बल की संभावना को कम करना
एक चैटबॉट का निदान करना जो शुद्ध शिक्षक बल से एक्सपोज़र-पूर्वाग्रह लक्षण के रूप में असंगत लूप में चला जाता है
पूर्ण शिक्षक बल के साथ प्रशिक्षित एक सारांशकार के बनाम निर्धारित नमूने के साथ प्रशिक्षित एक सारांश के BLEU स्कोर की तुलना करना
अनुसूचित नमूनाकरण और एक्सपोज़र पूर्वाग्रह का भविष्य
बड़े ट्रांसफॉर्मर भाषा मॉडल के लिए एक्सपोज़र पूर्वाग्रह के व्यावहारिक प्रभाव पर बहस होती है, क्योंकि विशाल डेटा और स्केल इसे कम कर देते हैं, और आरएलएचएफ जैसे तरीके सीधे पीढ़ी के व्यवहार को नया आकार देते हैं। फिर भी, अनुसूचित नमूनाकरण और उसके वंशज छोटे मॉडल, संरचित पीढ़ी और सख्त सटीकता आवश्यकताओं वाले कार्यों के लिए प्रासंगिक बने हुए हैं। भविष्य के कार्य में पाठ्यक्रम प्रदर्शन, सुदृढीकरण-शैली अनुक्रम उद्देश्यों और मॉडलों को प्रशिक्षित करने के तरीके को उनके वास्तव में डिकोड करने के तरीके के साथ संरेखित करने के लिए न्यूनतम-जोखिम प्रशिक्षण का मिश्रण किया जाता है।
इसे व्यवहार में लाना
यह क्यों मायने रखता है?
- लागत और बजट. वास्तुकला संबंधी निर्णय वर्षों तक प्रदर्शन और परिचालन लागत को संचालित करते हैं।
- स्पष्ट निर्णय. तकनीकी शिक्षा टीमों को सही स्टैक चुनने में मदद करती है, न कि केवल नवीनतम स्टैक चुनने में।
- गुणवत्ता नियंत्रण. बेहतर इंजीनियरिंग विकल्प उत्पादन में विश्वसनीयता की घटनाओं को कम करते हैं।
का ध्यान रखें
- एक बेंचमार्क को अनुकूलित करने से व्यापक सिस्टम कमजोरियों को छुपाया जा सकता है।
- बुनियादी ढांचे और रखरखाव की लागत को अक्सर कम करके आंका जाता है।
- जैसे-जैसे सिस्टम अधिक जटिल होते जाएंगे सुरक्षा और अवलोकन संबंधी अंतराल बढ़ सकते हैं।
अगले चरण
- कार्यान्वयन से पहले विलंबता, गुणवत्ता और लागत लक्ष्य परिभाषित करें।
- यथार्थवादी लोड और डेटा स्थितियों के तहत बेंचमार्क।
- त्रुटियों, बहाव और उपयोगकर्ता प्रभाव के लिए उपकरण निगरानी।
- स्केलिंग से पहले रोलबैक और घटना प्रतिक्रिया पथ तैयार करें।
अन्वेषण करते रहें
मुफ़्त न्यूज़लेटर
दैनिक एआई ब्रीफिंग प्राप्त करें
हर कार्यदिवस की सुबह तीन सत्यापित एआई कहानियाँ, सादे अंग्रेजी में लिखी गईं। हमेशा के लिए मुफ़्त, कोई विज्ञापन नहीं।
प्रत्येक सप्ताह के दिन एक ईमेल. एक क्लिक में सदस्यता समाप्त करें. हम आपका पता कभी नहीं बेचते या साझा नहीं करते।
स्वयं की जांच करो
Take the Scheduled Sampling and Exposure Bias quiz
प्रत्येक उत्तर पर त्वरित प्रतिक्रिया, और पाठ्यक्रम पास करने के बाद एक सत्यापन योग्य आईडी के साथ एक साझा करने योग्य प्रमाणपत्र।
निःशुल्क एआई शिक्षा का समर्थन करें। AI Understanding एक 501(c)(3) गैर-लाभकारी संस्था है - कोई विज्ञापन नहीं, कोई पेवॉल नहीं। दान करें
अक्सर पूछे जाने वाले प्रश्नों
अनुसूचित नमूनाकरण और एक्सपोज़र पूर्वाग्रह क्या है?
एक्सपोज़र पूर्वाग्रह वह अंतर है जो तब प्रकट होता है जब एक मॉडल को केवल सही उपसर्गों पर प्रशिक्षित किया जाता है, अनुमान के अनुसार, अपने स्वयं के अपूर्ण आउटपुट पर शर्त लगानी होती है। अनुसूचित नमूनाकरण एक ऐसा पाठ्यक्रम है जो धीरे-धीरे उस अंतर को पाटता है।
प्रशिक्षण के दौरान अनुसूचित नमूनाकरण क्या करता है?
अनुसूचित नमूनाकरण स्टोकेस्टिक रूप से जमीनी सच्चाई और मॉडल-जनरेटेड टोकन को डिकोडर इनपुट के रूप में मिश्रित करता है, जो एक क्षयकारी संभावना द्वारा नियंत्रित होता है।
निर्धारित नमूने में प्रशिक्षण के दौरान जमीनी सच्चाई टोकन का उपयोग करने की संभावना कैसे बदल जाती है?
शेड्यूल पूरी तरह से शिक्षक के दबाव के करीब शुरू होता है और कमजोर हो जाता है, इसलिए जैसे-जैसे मॉडल में सुधार होता है, वह तेजी से अपनी भविष्यवाणियों के संपर्क में आता है।
अनुसूचित नमूनाकरण की शुरुआत किसने और मोटे तौर पर कब की?
आवर्ती नेटवर्क के साथ अनुक्रम भविष्यवाणी के लिए 2015 में सैमी बेंगियो और उनके सहयोगियों द्वारा अनुसूचित नमूनाकरण प्रस्तावित किया गया था।
शिक्षक-बल की संभावना को कम करने के लिए आमतौर पर किस शेड्यूल आकार का हवाला दिया जाता है?
मूल कार्य ने जमीनी सच्चाई के नमूने की संभावना को कम करने के लिए रैखिक, घातीय और व्युत्क्रम-सिग्मॉइड क्षय कार्यक्रम प्रस्तावित किए।
At a decoding step where scheduled sampling chooses the model-output branch, what is fed as the next context token?
Scheduled sampling sometimes feeds the model’s own sampled prediction instead of the gold previous token.
सीखते रहो
संबंधित मार्गदर्शिकाएँ
इस विषय के लिए अधिक मार्गदर्शिकाएँ चुनी गईं