लोरा और पैरामीटर-कुशल ट्यूनिंग

पूर्ण फाइन-ट्यूनिंग एक मॉडल के प्रशिक्षण योग्य आधार मापदंडों को अद्यतन करती है, जिसमें अनुकूलक स्थिति और चौकियां संसाधन आवश्यकताओं में योगदान करती हैं। LoRA चयनित वजन अपडेट के लिए एक अलग मानकीकरण प्रदान करता है। मूल चयनित मैट्रिक्स स्थिर रहता है, जबकि दो प्रशिक्षित मैट्रिक्स एक एडिटिव लो-रैंक अपडेट बनाते हैं। उनका आंतरिक आयाम r अनुमत अद्यतन रैंक और पैरामीटर गणना को नियंत्रित करता है; यह कोई घोषणा नहीं है कि संपूर्ण पूर्व-प्रशिक्षित मैट्रिक्स की रैंक r है। डी पंक्तियों और के कॉलम वाले मैट्रिक्स के लिए, डी बटा आर और आर बटा के आकार वाले कारकों में आर गुना डी प्लस के पैरामीटर होते हैं। रैंक एक के साथ बताए गए 4-बाय-4 उदाहरण में, कारकों में चार प्लस चार, या आठ पैरामीटर होते हैं, जबकि पूर्ण अप्रतिबंधित अपडेट में सोलह प्रविष्टियाँ होती हैं। यह सार्वभौमिक मॉडल-व्यापी प्रतिशत के बजाय एक उदाहरणात्मक मैट्रिक्स गणना है। प्रशिक्षण योग्य मापदंडों को कम करने से ऑप्टिमाइज़र-स्टेट और कार्य-चेकपॉइंट आवश्यकताओं को कम किया जा सकता है, लेकिन आधार गणना और प्रासंगिक सक्रियण अभी भी मौजूद हैं। एक संगत अद्यतन को अनुमान से पहले एक सघन आधार मैट्रिक्स में भी मोड़ा जा सकता है। फिर परत एक अलग एडाप्टर शाखा का मूल्यांकन करने के बजाय मर्ज किए गए मैट्रिक्स का उपयोग करती है, जिसमें dtype और कार्यान्वयन संगतता अभी भी प्रासंगिक है। विभिन्न कार्य एडाप्टर एक बेस चेकपॉइंट साझा कर सकते हैं, जबकि सेवा व्यवहार उपयोग किए गए सिस्टम पर निर्भर करता है। QLoRA विकल्पों का एक और सेट जोड़ता है: कम परिशुद्धता पर संग्रहीत एक जमे हुए आधार, उच्च परिशुद्धता गणना के माध्यम से प्रशिक्षित LoRA मापदंडों तक पहुंचने वाले ग्रेडिएंट के साथ। इसका पेपर 4-बिट नॉर्मलफ्लोट स्टोरेज और आम तौर पर BFloat16 गणना का उपयोग करता है। दोहरा परिमाणीकरण स्वयं परिमाणीकरण स्थिरांक को संपीड़ित करता है, मेटाडेटा ओवरहेड को संबोधित करता है, न कि इसका अर्थ यह है कि प्रत्येक एडाप्टर ग्रेडिएंट को दो बार परिमाणित किया जाता है।