लोरा विशेषज्ञ प्रश्नोत्तरी का मिश्रण

जैसे ही आप प्रश्नोत्तरी लेते हैं उत्तर और स्पष्टीकरण दिखाई देते हैं।

1. लोरा विशेषज्ञों के मिश्रण का 'लोरा' भाग क्या दर्शाता है?
   • निम्न-रैंक अनुकूलन, जो पूर्ण भार के बजाय छोटे निम्न-रैंक मैट्रिस को प्रशिक्षित करता है
   • एक सुदृढीकरण सीखने का इनाम मॉडल
   • एक लंबी दूरी का ध्यान तंत्र
   • एडेप्टर के लिए एक डेटा-लोडिंग पाइपलाइन
2. MoLE में गेटिंग/राउटर नेटवर्क का क्या काम है?
   • बेस मॉडल वज़न को संपीड़ित करने के लिए
   • यह तय करना कि किसी दिए गए इनपुट के लिए किन विशेषज्ञों को सक्रिय करना है और कितने महत्व के साथ
   • एडेप्टर के लिए प्रशिक्षण डेटा उत्पन्न करने के लिए
   • टेक्स्ट को एम्बेडिंग में बदलने के लिए
3. कई मिश्रित कार्यों पर एक एडॉप्टर को प्रशिक्षित करने की तुलना में MoLE अक्सर बेहतर क्यों होता है?
   • डिज़ाइन के अनुसार यह अधिक GPU मेमोरी का उपयोग करता है
   • यह किसी भी आधार मॉडल की आवश्यकता को समाप्त कर देता है
   • यह अलग-अलग रचना योग्य विशेषज्ञों में कौशल रखकर हस्तक्षेप और भूलने को कम करता है
   • यह केवल एक ही भाषा पर काम करता है
4. LoRA में, वज़न अपडेट को आम तौर पर निम्नलिखित में से किसके रूप में व्यक्त किया जाता है?
   • W की जगह एक पूर्ण सघन मैट्रिक्स
   • W पर एक एकल अदिश गुणक
   • प्रत्येक चरण में एक यादृच्छिक शोर मैट्रिक्स जोड़ा गया
   • दो निम्न-रैंक आव्यूहों का गुणनफल, B गुना A
5. MoLE प्रशिक्षण के दौरान, आमतौर पर बेस मॉडल के पूर्व-प्रशिक्षित वजन का क्या होता है?
   • वे जमे रहते हैं जबकि केवल एडाप्टर और राउटर को प्रशिक्षित किया जाता है
   • वे शुरू से ही पूरी तरह से प्रशिक्षित हैं
   • उन्हें हटा दिया जाता है और फिर से बनाया जाता है
   • उन्हें एक बिट तक परिमाणित किया गया है
6. प्रसार छवि मॉडल में, MoLE में पदानुक्रमित/प्रति-परत गेटिंग किस समस्या को हल करने में मदद करती है?
   • धीमा इंटरनेट डाउनलोड
   • रचित होने पर एकाधिक अवधारणा LoRAs एक-दूसरे पर हावी हो जाते हैं
   • प्रशिक्षण डेटा का अभाव
   • ग़लत फ़ाइल स्वरूप
7. How can a gated LoRA mixture differ from merging all adapter weights into one fixed update?
   • It must retrain the pretrained backbone for every prompt
   • It can use only one expert for all inputs
   • It can select or weight experts conditionally for a task or layer
   • It removes every low-rank matrix before inference
8. In a LoRA update with rank r, what does r control most directly?
   • The number of decoder tokens generated
   • The number of original model layers removed
   • The size of the training vocabulary
   • The dimension of the low-rank factors and thus the capacity and parameter cost of the update