سیکھیں خبریں ٹولز ملازمتیں مشن

AI لغت کی اصطلاح

QLoRA کیا ہے؟

تعریف

ایک عمدہ ٹیوننگ تکنیک جو میموری کی ضروریات کو کم کرنے کے لیے LoRA اڈاپٹر کے ساتھ 4 بٹ وزن کی مقدار کو یکجا کرتی ہے۔

مکمل AI لغت براؤز کریں۔تمام مفت AI گائیڈز دریافت کریں۔

LoRA (کم درجہ کی موافقت)پیرامیٹر سے موثر فائن ٹیوننگ کا طریقہ جو کم درجے کے اڈاپٹر میٹرکس کو شامل کرتا ہے۔کوانٹائزیشنماڈل کے وزن کو کم درستگی والے فارمیٹس میں تبدیل کرنا جیسے 8 بٹ یا 4 بٹ۔فائن ٹیوننگپہلے سے تربیت یافتہ ماڈل کو مخصوص کام کے لیے ڈھالنے کے لیے ڈومین کے مخصوص ڈیٹا پر تربیت جاری رکھنا۔انسٹرکشن ٹیوننگمندرجہ ذیل کام کو بہتر بنانے کے لیے انسٹرکشن رسپانس جوڑوں پر ماڈل کو ٹھیک کرنا۔ماڈل کوانٹائزیشنمیموری اور تخمینہ لاگت کو کم کرنے کے لیے ماڈل وزن کی عددی درستگی کو کم کرنا۔پیرامیٹر سے موثر فائن ٹیوننگ (PEFT)وہ طریقے جو شامل کردہ پیرامیٹرز کے چھوٹے ذیلی سیٹ کو تربیت دے کر ماڈلز کو اپناتے ہیں۔

ہماری مفت گائیڈز میں مزید جانیں۔

QLoRA and 4-Bit Fine-Tuning

یہ بھی دیکھیں

DPO (Direct Preference Optimization)Flash Attention Tree of Thoughts Multi-Head Attention ReAct Positional Encoding Agentic Loop RoPE (Rotary Positional Embeddings)