भाषा एआई गाइड
स्थानांतरण के लिए एडाप्टर परतें
एडेप्टर परतें एक जमे हुए पूर्व-प्रशिक्षित मॉडल में डाले गए छोटे प्रशिक्षित मॉड्यूल हैं, जो आपको केवल कुछ प्रतिशत मापदंडों को अपडेट करके नए कार्यों के लिए अनुकूलित करने की सुविधा देते हैं।
इस गाइड को सुनेंएआई-नैरेटेड · ~2 min
इस पृष्ठ पर2 मिनट लाल
सिंहावलोकन
वे फाइन-ट्यूनिंग को सस्ता, मॉड्यूलर और स्वैप करने में आसान बनाते हैं।
गहरा गोता
एडेप्टर, हॉल्स्बी एट अल द्वारा लोकप्रिय। (2019) एनएलपी में ट्रांसफर लर्निंग के लिए, एक महंगी समस्या का समाधान करें: पूर्ण फाइन-ट्यूनिंग एक बड़े मॉडल में हर वजन को अपडेट करती है और प्रति कार्य एक पूरी नई प्रतिलिपि तैयार करती है। इसके बजाय एक एडाप्टर प्रत्येक ट्रांसफॉर्मर ब्लॉक में छोटे टोंटी नेटवर्क डालता है, आमतौर पर कम आयाम के लिए एक डाउन-प्रोजेक्शन, एक नॉनलाइनरिटी, और एक अप-प्रोजेक्शन बैक, एक अवशिष्ट कनेक्शन में लपेटा जाता है। प्रशिक्षण के दौरान मूल पूर्व-प्रशिक्षित वजन जमे हुए रहते हैं; केवल एडेप्टर (अक्सर कुल मापदंडों के 5% से कम) सीखे जाते हैं। यह बहुत कम मापदंडों को प्रशिक्षित करते हुए GLUE जैसे बेंचमार्क पर लगभग पूर्ण-फाइन-ट्यूनिंग गुणवत्ता प्रदान करता है। क्योंकि प्रत्येक कार्य को अपना छोटा एडॉप्टर मिलता है, आप एक बेस मॉडल और कई हल्के कार्य मॉड्यूल संग्रहीत कर सकते हैं, और उन्हें स्वैप या स्टैक भी कर सकते हैं। एडेप्टर लोआरए और प्रीफ़िक्स ट्यूनिंग के साथ-साथ पैरामीटर-कुशल फाइन-ट्यूनिंग (पीईएफटी) परिवार का एक मूलभूत सदस्य हैं।
वास्तविक विश्व कार्यान्वयन
एक भाषा-विशिष्ट एडाप्टर जोड़ा जा रहा है ताकि पूरे नेटवर्क को फिर से प्रशिक्षित किए बिना एक बहुभाषी मॉडल को स्वाहिली के लिए विशेषीकृत किया जा सके।
SaaS उत्पाद में एकल बेस मॉडल और दर्जनों छोटे प्रति-ग्राहक एडेप्टर बनाए रखना, प्रति अनुरोध में सही एडेप्टर की अदला-बदली करना।
केवल कुछ-प्रतिशत एडॉप्टर को प्रशिक्षित करके, फिर अन्य कार्यों के लिए आधार को साझा करके भावना वर्गीकरण के लिए एक मॉडल को ठीक करना।
मॉड्यूलर पुन: उपयोग के लिए एक डोमेन एडाप्टर (उदाहरण के लिए, कानूनी-पाठ एडाप्टर प्लस एक सारांश एडाप्टर) के शीर्ष पर एक कार्य एडाप्टर को स्टैक करना।
स्थानांतरण के लिए एडाप्टर परतों का भविष्य
एडेप्टर और व्यापक पीईएफटी टूलकिट अब बड़े मॉडलों को किफायती रूप से अनुकूलित करने के लिए मानक हैं, खासकर मॉडल आकार के गुब्बारे के रूप में। एडाप्टर संरचना में वृद्धि की अपेक्षा करें (एडाप्टरहब के रूप में कार्य या भाषा एडाप्टर को मॉड्यूलर रूप से संयोजित करना), अनुमान पर कई एडाप्टर के बीच रूटिंग, और ऑन-डिवाइस वैयक्तिकरण जहां एक छोटा एडाप्टर प्रति उपयोगकर्ता एक साझा आधार मॉडल तैयार करता है। एलओआरए वेरिएंट अपनी दक्षता के लिए तेजी से हावी हो रहे हैं, लेकिन अंतर्निहित विचार, विशाल मॉडल को फ्रीज करना और एक छोटे प्लग-इन को प्रशिक्षित करना, अब क्षेत्र के अनुकूलन को कैसे मापता है, इसके लिए केंद्रीय है।
इसे व्यवहार में लाना
यह क्यों मायने रखता है?
- गति और पैमाना. भाषा वर्कफ़्लो निरंतरता से समझौता किए बिना तेज़ी से आगे बढ़ सकता है।
- पहुंच और पहुंच. यह सभी भाषाओं और संचार शैलियों तक पहुंच का विस्तार करता है।
- स्पष्ट निर्णय. टीमें निर्णय लेने में अधिक समय व्यतीत कर सकती हैं जबकि स्वचालन पुनरावृत्ति को संभालता है।
का ध्यान रखें
- मतिभ्रम वाले तथ्य चुपचाप रिपोर्ट में प्रवेश कर सकते हैं, प्रवाह का समर्थन कर सकते हैं, या अनुसंधान आउटपुट का समर्थन कर सकते हैं।
- त्वरित संवेदनशीलता समान अनुरोधों में असंगत परिणाम पैदा कर सकती है।
- यदि पहुंच नियंत्रण कमजोर हैं तो संवेदनशील पाठ डेटा उजागर हो सकता है।
अगले चरण
- रोलआउट से पहले आउटपुट स्वरूप, टोन और गुणवत्ता मानकों को परिभाषित करें।
- जब भी सटीकता मायने रखती है तो विश्वसनीय स्रोतों के साथ जमीनी प्रतिक्रियाएँ।
- उच्च जोखिम वाले आउटपुट के लिए एक मानव समीक्षा चेकपॉइंट रखें।
- विफलता पैटर्न को ट्रैक करें और संकेतों या वर्कफ़्लो को नियमित रूप से पुनः प्रशिक्षित करें।
अन्वेषण करते रहें
मुफ़्त न्यूज़लेटर
दैनिक एआई ब्रीफिंग प्राप्त करें
हर कार्यदिवस की सुबह तीन सत्यापित एआई कहानियाँ, सादे अंग्रेजी में लिखी गईं। हमेशा के लिए मुफ़्त, कोई विज्ञापन नहीं।
प्रत्येक सप्ताह के दिन एक ईमेल. एक क्लिक में सदस्यता समाप्त करें. हम आपका पता कभी नहीं बेचते या साझा नहीं करते।
स्वयं की जांच करो
Take the Adapter Layers for Transfer quiz
प्रत्येक उत्तर पर त्वरित प्रतिक्रिया, और पाठ्यक्रम पास करने के बाद एक सत्यापन योग्य आईडी के साथ एक साझा करने योग्य प्रमाणपत्र।
निःशुल्क एआई शिक्षा का समर्थन करें। AI Understanding एक 501(c)(3) गैर-लाभकारी संस्था है - कोई विज्ञापन नहीं, कोई पेवॉल नहीं। दान करें
अक्सर पूछे जाने वाले प्रश्नों
स्थानांतरण के लिए एडेप्टर परतें क्या है?
एडेप्टर परतें एक जमे हुए पूर्व-प्रशिक्षित मॉडल में डाले गए छोटे प्रशिक्षित मॉड्यूल हैं, जो आपको केवल कुछ प्रतिशत मापदंडों को अपडेट करके नए कार्यों के लिए अनुकूलित करने की सुविधा देते हैं। वे फाइन-ट्यूनिंग को सस्ता, मॉड्यूलर और स्वैप करने में आसान बनाते हैं।
एडॉप्टर के साथ प्रशिक्षण करते समय मूल पूर्व-प्रशिक्षित भार का क्या होता है?
एडेप्टर ट्यूनिंग बेस मॉडल को स्थिर रखता है और केवल छोटे सम्मिलित मॉड्यूल सीखता है।
टोंटी एडाप्टर की विशिष्ट आंतरिक संरचना क्या है?
क्लासिक एडॉप्टर छिपी हुई स्थिति को निम्न आयाम तक निचोड़ता है, एक गैर-रैखिकता लागू करता है, बैक अप प्रोजेक्ट करता है, और एक स्किप कनेक्शन जोड़ता है।
एडेप्टर आम तौर पर पैरामीटर के कितने अंश को प्रशिक्षित करते हैं?
एडेप्टर आमतौर पर मॉडल के कुल मापदंडों का केवल कुछ प्रतिशत ही जोड़ते और प्रशिक्षित करते हैं, जो पूर्ण फाइन-ट्यूनिंग से बहुत कम है।
एडॉप्टर कई कार्यों को पूरा करने के लिए सुविधाजनक क्यों हैं?
क्योंकि प्रत्येक कार्य के लिए केवल एक छोटे एडाप्टर की आवश्यकता होती है, एक साझा आधार मॉडल हल्के मॉड्यूल को स्वैप करके कई कार्यों को पूरा कर सकता है।
एडाप्टर्स तकनीकों के किस परिवार से संबंधित हैं?
LoRA और प्रीफ़िक्स ट्यूनिंग जैसे दृष्टिकोणों के साथ एडेप्टर एक मुख्य PEFT विधि है।
सीखते रहो
संबंधित मार्गदर्शिकाएँ
इस विषय के लिए अधिक मार्गदर्शिकाएँ चुनी गईं