QLoRA और 4-बिट फ़ाइन-ट्यूनिंग क्विज़

जैसे ही आप प्रश्नोत्तरी लेते हैं उत्तर और स्पष्टीकरण दिखाई देते हैं।

1. QLoRA के '4-बिट' भाग के पीछे मुख्य मेमोरी-सेविंग विचार क्या है?
   • यह जमे हुए बेस मॉडल के वजन को 4 बिट्स तक कम करता है
   • यह मॉडल की 75% परतें हटा देता है
   • यह केवल 4 युगों में मॉडल को प्रशिक्षित करता है
   • यह कई के बजाय केवल 4 GPU का उपयोग करता है
2. QLoRA फाइन-ट्यूनिंग के दौरान, कौन से पैरामीटर वास्तव में ग्रेडिएंट डिसेंट द्वारा अपडेट हो जाते हैं?
   • मॉडल के सभी मूल वजन
   • केवल छोटे निम्न-रैंक LoRA एडाप्टर मैट्रिसेस
   • 4-बिट परिमाणीकरण स्थिरांक
   • टोकनाइज़र की शब्दावली
3. QLoRA के संदर्भ में NF4 क्या है?
   • एक 4-परत तंत्रिका नेटवर्क
   • एक नया अनुकूलक एल्गोरिथ्म
   • सामान्य रूप से वितरित भार के लिए अनुकूलित 4-बिट डेटा प्रकार
   • एक 4-नोड जीपीयू क्लस्टर प्रारूप
4. QLoRA पते में 'पृष्ठांकित अनुकूलक' को क्या समस्या है?
   • मॉडल फ़ाइलों का धीमा इंटरनेट डाउनलोड
   • ग़लत टोकनीकरण
   • छोटे डेटासेट पर ओवरफ़िटिंग
   • लंबे अनुक्रमों के दौरान स्मृति से बाहर हो जाना
5. प्रशिक्षण के दौरान 4-बिट वज़न को उच्च परिशुद्धता में कब परिवर्तित किया जाता है?
   • मैट्रिक्स गुणन के दौरान ठीक-ठीक समय पर, फिर छोड़ दिया गया
   • वे कभी परिवर्तित नहीं होते; गणित 4 बिट्स में किया जाता है
   • प्रशिक्षण की शुरुआत में केवल एक बार
   • ट्रेनिंग पूरी होने के बाद ही
6. मूल QLoRA पेपर ने गुणवत्ता के बारे में क्या प्रदर्शित किया?
   • 4-बिट फाइन-ट्यूनिंग हमेशा पूर्ण फाइन-ट्यूनिंग को मात देती है
   • एक जीपीयू पर 65बी मॉडल को फाइन-ट्यूनिंग पूर्ण 16-बिट फाइन-ट्यूनिंग गुणवत्ता से मेल खा सकता है
   • परिमाणीकरण 8 बिट से नीचे के मॉडल को बेकार बना देता है
   • केवल छोटे मॉडलों को ही इस तरह से ठीक किया जा सकता है
7. What does QLoRA’s double-quantization step compress?
   • टोकनाइज़र शब्दावली
   • The LoRA adapter rank
   • The quantization constants used to represent the 4-bit weights
   • The training examples’ text labels
8. How can one QLoRA base model support multiple task-specific versions?
   • They delete the optimizer state after every token
   • They increase the base model from 4-bit to 32-bit
   • They move all activations into the tokenizer
   • Reuse the frozen 4-bit base and swap small trainable LoRA adapters for different tasks