एआई शब्दावली शब्द

लोरा (निम्न-रैंक अनुकूलन) क्या है?

परिभाषा

एक पैरामीटर-कुशल फ़ाइन-ट्यूनिंग विधि जो निम्न-रैंक एडाप्टर मैट्रिसेस जोड़ती है।

पैरामीटर-कुशल फ़ाइन-ट्यूनिंग (PEFT)वे विधियाँ जो अतिरिक्त मापदंडों के एक छोटे उपसमूह को प्रशिक्षित करके मॉडल को अनुकूलित करती हैं।QLoRAएक फाइन-ट्यूनिंग तकनीक जो मेमोरी आवश्यकताओं को कम करने के लिए LoRA एडेप्टर के साथ 4-बिट वजन परिमाणीकरण को जोड़ती है।फ़ाइन ट्यूनिंगकिसी पूर्व-प्रशिक्षित मॉडल को किसी विशिष्ट कार्य के लिए अनुकूलित करने के लिए डोमेन-विशिष्ट डेटा पर निरंतर प्रशिक्षण।अनुदेश ट्यूनिंगनिम्नलिखित कार्य को बेहतर बनाने के लिए निर्देश-प्रतिक्रिया युग्मों पर एक मॉडल को ठीक करना।डीपीओ (प्रत्यक्ष वरीयता अनुकूलन)एक प्रशिक्षण पद्धति जो अलग-अलग पुरस्कार मॉडल की आवश्यकता के बिना सीधे वरीयता जोड़े पर मॉडल को ठीक करती है।लेबल स्मूथिंगएक नियमितीकरण विधि जो सामान्यीकरण में सुधार के लिए कठोर लेबल को नरम करती है।

हमारी निःशुल्क मार्गदर्शिकाओं में और जानें

यह भी देखें