गाइड से जुड़ी प्रश्नोत्तरी · मध्यम स्तर
स्थानांतरण प्रश्नोत्तरी के लिए एडाप्टर परतें
जांचें कि टोंटी एडेप्टर जमे हुए बेस मॉडल को कैसे संरक्षित करते हैं, मॉड्यूलर कार्य या डोमेन स्थानांतरण को सक्षम करते हैं, और लोआरए के साथ तुलना करते हैं।
प्रश्न 1 का 8
एडॉप्टर के साथ प्रशिक्षण करते समय मूल पूर्व-प्रशिक्षित भार का क्या होता है?
प्रत्येक प्रश्न का पूर्वावलोकन करें8 प्रश्न
जैसे ही आप प्रश्नोत्तरी लेते हैं उत्तर और स्पष्टीकरण दिखाई देते हैं।
- एडॉप्टर के साथ प्रशिक्षण करते समय मूल पूर्व-प्रशिक्षित भार का क्या होता है?
- वे जमे हुए हैं जबकि केवल एडाप्टर पैरामीटर प्रशिक्षित हैं
- उन्हें हटा दिया गया है
- उन्हें बेतरतीब ढंग से पुन: प्रारंभ किया गया है
- इनका आकार दोगुना हो गया है
- टोंटी एडाप्टर की विशिष्ट आंतरिक संरचना क्या है?
- एक बड़ी घनी परत
- एक डाउन-प्रोजेक्शन, एक नॉनलाइनरिटी, फिर एक अप-प्रोजेक्शन, एक अवशिष्ट कनेक्शन के साथ
- केवल एक ध्यान देने वाला सिर
- एक दृढ़ छवि फ़िल्टर
- एडेप्टर आम तौर पर पैरामीटर के कितने अंश को प्रशिक्षित करते हैं?
- 100%
- बिल्कुल 50%
- अक्सर 5% से कम
- बिल्कुल भी नहीं
- एडॉप्टर कई कार्यों को पूरा करने के लिए सुविधाजनक क्यों हैं?
- उन्हें प्रत्येक कार्य के लिए एक अलग पूर्ण मॉडल प्रति की आवश्यकता होती है
- उन्हें संयोजित नहीं किया जा सकता
- वे प्रत्येक कार्य के बाद आधार मॉडल मिटा देते हैं
- आप एक बेस मॉडल रखें और प्रति-कार्य छोटे एडेप्टर स्वैप करें
- एडाप्टर्स तकनीकों के किस परिवार से संबंधित हैं?
- पैरामीटर-कुशल फ़ाइन-ट्यूनिंग (PEFT)
- डेटा संवर्धन
- छवि संपीड़न
- टोकनाइजेशन योजनाएं
- अनुमान के समय क्लासिक इंसर्टेड एडॉप्टर की तुलना में LoRA क्या लाभ प्रदान करता है?
- इसे प्रशिक्षित नहीं किया जा सकता
- अतिरिक्त प्रति-परत विलंबता से बचते हुए, इसके सीखे गए वजन को आधार मैट्रिक्स में विलय किया जा सकता है
- इसके लिए पूरे मॉडल को फिर से प्रशिक्षित करने की आवश्यकता है
- यह शेष कनेक्शन को स्थायी रूप से हटा देता है
- What does a residual connection contribute to a classic bottleneck adapter?
- A second full pretrained model copy for each task
- A mandatory external retrieval database
- A path that adds the adapter’s transformed representation back to the original hidden state
- A guarantee that no added computation occurs
- What is one benefit of stacking a domain adapter with a task adapter?
- Merge all user data into the frozen base weights automatically
- Avoid using any adapter modules
- Convert a language model into a vision encoder
- Reuse a domain specialization together with a separate task specialization