एआई शब्दावली शब्द

क्या है? QLoRA?

परिभाषा

एक फाइन-ट्यूनिंग तकनीक जो मेमोरी आवश्यकताओं को कम करने के लिए LoRA एडेप्टर के साथ 4-बिट वजन परिमाणीकरण को जोड़ती है।

संबंधित शर्तें

लोरा (निम्न-रैंक अनुकूलन)
एक पैरामीटर-कुशल फ़ाइन-ट्यूनिंग विधि जो निम्न-रैंक एडाप्टर मैट्रिसेस जोड़ती है।
परिमाणीकरण
मॉडल भार को 8-बिट या 4-बिट जैसे कम परिशुद्धता प्रारूपों में परिवर्तित करना।
फ़ाइन ट्यूनिंग
किसी पूर्व-प्रशिक्षित मॉडल को किसी विशिष्ट कार्य के लिए अनुकूलित करने के लिए डोमेन-विशिष्ट डेटा पर निरंतर प्रशिक्षण।
अनुदेश ट्यूनिंग
निम्नलिखित कार्य को बेहतर बनाने के लिए निर्देश-प्रतिक्रिया युग्मों पर एक मॉडल को ठीक करना।
मॉडल परिमाणीकरण
स्मृति और अनुमान लागत को कम करने के लिए मॉडल भार की संख्यात्मक सटीकता को कम करना।
पैरामीटर-कुशल फ़ाइन-ट्यूनिंग (PEFT)
वे विधियाँ जो अतिरिक्त मापदंडों के एक छोटे उपसमूह को प्रशिक्षित करके मॉडल को अनुकूलित करती हैं।

हमारी निःशुल्क मार्गदर्शिकाओं में और जानें

QLoRA and 4-Bit Fine-Tuning

यह भी देखें

DPO (Direct Preference Optimization)Flash AttentionTree of ThoughtsMulti-Head AttentionReActPositional EncodingAgentic LoopRoPE (Rotary Positional Embeddings)
संपूर्ण AI शब्दावली ब्राउज़ करेंसभी निःशुल्क एआई गाइडों का अन्वेषण करें