AI لغت کی اصطلاح

کیا ہے QLoRA?

تعریف

ایک عمدہ ٹیوننگ تکنیک جو میموری کی ضروریات کو کم کرنے کے لیے LoRA اڈاپٹر کے ساتھ 4 بٹ وزن کی مقدار کو یکجا کرتی ہے۔

متعلقہ شرائط

LoRA (کم درجہ کی موافقت)
پیرامیٹر سے موثر فائن ٹیوننگ کا طریقہ جو کم درجے کے اڈاپٹر میٹرکس کو شامل کرتا ہے۔
کوانٹائزیشن
ماڈل کے وزن کو کم درستگی والے فارمیٹس میں تبدیل کرنا جیسے 8 بٹ یا 4 بٹ۔
فائن ٹیوننگ
پہلے سے تربیت یافتہ ماڈل کو مخصوص کام کے لیے ڈھالنے کے لیے ڈومین کے مخصوص ڈیٹا پر تربیت جاری رکھنا۔
انسٹرکشن ٹیوننگ
مندرجہ ذیل کام کو بہتر بنانے کے لیے انسٹرکشن رسپانس جوڑوں پر ماڈل کو ٹھیک کرنا۔
ماڈل کوانٹائزیشن
میموری اور تخمینہ لاگت کو کم کرنے کے لیے ماڈل وزن کی عددی درستگی کو کم کرنا۔
پیرامیٹر سے موثر فائن ٹیوننگ (PEFT)
وہ طریقے جو شامل کردہ پیرامیٹرز کے چھوٹے ذیلی سیٹ کو تربیت دے کر ماڈلز کو اپناتے ہیں۔

ہماری مفت گائیڈز میں مزید جانیں۔

QLoRA and 4-Bit Fine-Tuning

See also

DPO (Direct Preference Optimization)Flash AttentionTree of ThoughtsMulti-Head AttentionReActPositional EncodingAgentic LoopRoPE (Rotary Positional Embeddings)
مکمل AI لغت براؤز کریں۔تمام مفت AI گائیڈز دریافت کریں۔