आगेअगली गाइड
एआई शेड्यूल के साथ जेट लैग को कैसे मात दें
अनुप्रयोग
तकनीकी गाइड
वार्मअप और कोसाइन एनीलिंग शेड्यूल
वार्मअप प्रशिक्षण से पहले धीरे-धीरे सीखने की दर को लगभग शून्य से ऊपर ले जाता है, फिर कोसाइन एनीलिंग इसे कोसाइन वक्र के बाद आसानी से वापस नीचे कर देता है।
इस गाइड को सुनेंएआई-नैरेटेड · ~2 min
इस पृष्ठ पर2 मिनट लाल
सिंहावलोकन
साथ में वे प्रारंभिक प्रशिक्षण को स्थिर करते हैं और बेहतर अंतिम सटीकता प्राप्त करते हैं, यही कारण है कि लगभग हर आधुनिक ट्रांसफार्मर को इस तरह से प्रशिक्षित किया जाता है।
गहरा गोता
जब प्रशिक्षण शुरू होता है, तो मॉडल वेट यादृच्छिक होते हैं और ग्रेडिएंट बहुत बड़े हो सकते हैं, इसलिए बड़ी सीखने की दर पर सीधे कूदने से अक्सर नुकसान में वृद्धि या विचलन होता है - विशेष रूप से एडम जैसे अनुकूली अनुकूलक के साथ, जिनके विचरण अनुमान पहले चरण में अविश्वसनीय होते हैं। वार्मअप कुछ सौ से कुछ हजार कदमों तक दर को रैखिक रूप से बढ़ाकर इसे ठीक करता है। Once the model is on stable footing, cosine annealing takes over, decaying the rate as 0.5 * (1 + cos(pi * t / T)) of its peak. कोसाइन आकार तेजी से प्रगति के लिए दर को पहले उच्च रखता है, फिर धीरे-धीरे कम हो जाता है ताकि ऑप्टिमाइज़र इसके चारों ओर उछलने के बजाय एक अच्छे न्यूनतम में व्यवस्थित हो सके।
वास्तविक विश्व कार्यान्वयन
जीपीटी-शैली और बीईआरटी-शैली भाषा मॉडल पहले ~1-2% चरणों में एक रैखिक वार्मअप का उपयोग करते हैं, जिसके बाद कोसाइन क्षय शून्य के करीब होता है।
इमेजनेट पर शुरुआती विचलन से बचने के लिए विज़न ट्रांसफॉर्मर (वीआईटी) कोसाइन एनीलिंग और एक छोटे वार्मअप के साथ प्रशिक्षित होते हैं।
हगिंग फेस ट्रांसफॉर्मर्स फाइन-ट्यूनिंग कार्यों के लिए एक-लाइन शेड्यूलर के रूप में `get_cosine_schedule_with_warmup` प्रदान करता है।
स्थिर प्रसार और अन्य प्रसार मॉडल पूर्व-प्रशिक्षित भार को अनुकूलित करते समय क्रमिक विस्फोटों को रोकने के लिए वार्मअप के साथ ठीक-ठीक होते हैं।
वार्मअप और कोसाइन एनीलिंग शेड्यूल का भविष्य
वार्मअप-प्लस-कोसाइन बड़े भाषा मॉडल के लिए डिफ़ॉल्ट नुस्खा बना हुआ है, लेकिन वेरिएंट फैल रहे हैं। वार्मअप-स्थिर-क्षय (डब्ल्यूएसडी) एक स्थिर दर बनाए रखता है और फिर अंत में तेजी से क्षय होता है, जिससे एक निश्चित लंबाई तक पुनः प्रतिबद्ध किए बिना रन बढ़ाना आसान हो जाता है। शोधकर्ता यह भी अध्ययन कर रहे हैं कि वार्मअप क्यों काम करता है - इसे ग्रेडिएंट शोर और हानि-परिदृश्य वक्रता से जोड़कर - और उपकरण तेजी से ऑटो-ट्यून वार्मअप लंबाई और शिखर दर को बढ़ाते हैं, जिससे मैन्युअल परीक्षण-और-त्रुटि कम हो जाती है जो आज हावी है।
इसे व्यवहार में लाना
यह क्यों मायने रखता है?
- लागत और बजट. वास्तुकला संबंधी निर्णय वर्षों तक प्रदर्शन और परिचालन लागत को संचालित करते हैं।
- स्पष्ट निर्णय. तकनीकी शिक्षा टीमों को सही स्टैक चुनने में मदद करती है, न कि केवल नवीनतम स्टैक चुनने में।
- गुणवत्ता नियंत्रण. बेहतर इंजीनियरिंग विकल्प उत्पादन में विश्वसनीयता की घटनाओं को कम करते हैं।
का ध्यान रखें
- एक बेंचमार्क को अनुकूलित करने से व्यापक सिस्टम कमजोरियों को छुपाया जा सकता है।
- बुनियादी ढांचे और रखरखाव की लागत को अक्सर कम करके आंका जाता है।
- जैसे-जैसे सिस्टम अधिक जटिल होते जाएंगे सुरक्षा और अवलोकन संबंधी अंतराल बढ़ सकते हैं।
अगले चरण
- कार्यान्वयन से पहले विलंबता, गुणवत्ता और लागत लक्ष्य परिभाषित करें।
- यथार्थवादी लोड और डेटा स्थितियों के तहत बेंचमार्क।
- त्रुटियों, बहाव और उपयोगकर्ता प्रभाव के लिए उपकरण निगरानी।
- स्केलिंग से पहले रोलबैक और घटना प्रतिक्रिया पथ तैयार करें।
अन्वेषण करते रहें
मुफ़्त न्यूज़लेटर
दैनिक एआई ब्रीफिंग प्राप्त करें
हर कार्यदिवस की सुबह तीन सत्यापित एआई कहानियाँ, सादे अंग्रेजी में लिखी गईं। हमेशा के लिए मुफ़्त, कोई विज्ञापन नहीं।
प्रत्येक सप्ताह के दिन एक ईमेल. एक क्लिक में सदस्यता समाप्त करें. हम आपका पता कभी नहीं बेचते या साझा नहीं करते।
स्वयं की जांच करो
Take the Warmup and Cosine Annealing Schedules quiz
प्रत्येक उत्तर पर त्वरित प्रतिक्रिया, और पाठ्यक्रम पास करने के बाद एक सत्यापन योग्य आईडी के साथ एक साझा करने योग्य प्रमाणपत्र।
निःशुल्क एआई शिक्षा का समर्थन करें। AI Understanding एक 501(c)(3) गैर-लाभकारी संस्था है - कोई विज्ञापन नहीं, कोई पेवॉल नहीं। दान करें
अक्सर पूछे जाने वाले प्रश्नों
वार्मअप और कोसाइन एनीलिंग शेड्यूल क्या है?
वार्मअप प्रशिक्षण से पहले धीरे-धीरे सीखने की दर को लगभग शून्य से ऊपर ले जाता है, फिर कोसाइन एनीलिंग इसे कोसाइन वक्र के बाद आसानी से वापस नीचे कर देता है। साथ में वे प्रारंभिक प्रशिक्षण को स्थिर करते हैं और बेहतर अंतिम सटीकता प्राप्त करते हैं, यही कारण है कि लगभग हर आधुनिक ट्रांसफार्मर को इस तरह से प्रशिक्षित किया जाता है।
प्रशिक्षण की शुरुआत में वार्मअप चरण का मुख्य उद्देश्य क्या है?
यादृच्छिक भार पर बड़ी सीखने की दर से शुरू करने से हानि में वृद्धि या विचलन हो सकता है, इसलिए शुरुआती चरणों को स्थिर रखने के लिए वार्मअप दर को धीरे से बढ़ाता है।
कोसाइन एनीलिंग किस आकार का अनुसरण करते हुए सीखने की दर को कम करती है?
दर को 0.5 * (1 + कॉस (पीआई * टी / टी)) द्वारा बढ़ाया जाता है, जिससे एक चिकनी पहाड़ी बनती है जो शुरुआत में ऊंची रहती है और अंत में शून्य के करीब पहुंच जाती है।
कौन सा अनुकूलक विशेष रूप से वार्मअप से लाभान्वित होता है क्योंकि इसके विचरण अनुमान शुरू में अविश्वसनीय होते हैं?
एडम के चल रहे विचरण अनुमान पहले चरणों में बहुत कम नमूनों पर आधारित हैं, जिससे प्रभावी चरण का आकार अनियमित हो जाता है - वार्मअप इसे कम कर देता है।
कोसाइन सूत्र में, T क्या दर्शाता है?
टी वह क्षितिज है जिस पर दर अपने चरम से घटकर शून्य के करीब हो जाती है; t उस क्षितिज के भीतर वर्तमान चरण है।
In the guide’s warmup-plus-cosine schedule, what begins after warmup reaches its target rate?
The guide describes a short linear warmup followed by cosine annealing.
सीखते रहो
संबंधित मार्गदर्शिकाएँ
इस विषय के लिए अधिक मार्गदर्शिकाएँ चुनी गईं