एआई शब्दावली शब्द

QLoRA क्या है?

परिभाषा

एक फाइन-ट्यूनिंग तकनीक जो मेमोरी आवश्यकताओं को कम करने के लिए LoRA एडेप्टर के साथ 4-बिट वजन परिमाणीकरण को जोड़ती है।

संपूर्ण AI शब्दावली ब्राउज़ करेंसभी निःशुल्क एआई गाइडों का अन्वेषण करें

संबंधित शर्तें

लोरा (निम्न-रैंक अनुकूलन)एक पैरामीटर-कुशल फ़ाइन-ट्यूनिंग विधि जो निम्न-रैंक एडाप्टर मैट्रिसेस जोड़ती है।परिमाणीकरणमॉडल भार को 8-बिट या 4-बिट जैसे कम परिशुद्धता प्रारूपों में परिवर्तित करना।फ़ाइन ट्यूनिंगकिसी पूर्व-प्रशिक्षित मॉडल को किसी विशिष्ट कार्य के लिए अनुकूलित करने के लिए डोमेन-विशिष्ट डेटा पर निरंतर प्रशिक्षण।अनुदेश ट्यूनिंगनिम्नलिखित कार्य को बेहतर बनाने के लिए निर्देश-प्रतिक्रिया युग्मों पर एक मॉडल को ठीक करना।मॉडल परिमाणीकरणस्मृति और अनुमान लागत को कम करने के लिए मॉडल भार की संख्यात्मक सटीकता को कम करना।पैरामीटर-कुशल फ़ाइन-ट्यूनिंग (PEFT)वे विधियाँ जो अतिरिक्त मापदंडों के एक छोटे उपसमूह को प्रशिक्षित करके मॉडल को अनुकूलित करती हैं।

हमारी निःशुल्क मार्गदर्शिकाओं में और जानें

QLoRA and 4-Bit Fine-Tuning

यह भी देखें

DPO (Direct Preference Optimization)Flash AttentionTree of ThoughtsMulti-Head AttentionReActPositional EncodingAgentic LoopRoPE (Rotary Positional Embeddings)