What is LoRA (Low-Rank Adaptation)? Definition | AI Understanding

تعریف

پیرامیٹر سے موثر فائن ٹیوننگ کا طریقہ جو کم درجے کے اڈاپٹر میٹرکس کو شامل کرتا ہے۔

متعلقہ شرائط

پیرامیٹر سے موثر فائن ٹیوننگ (PEFT)

وہ طریقے جو شامل کردہ پیرامیٹرز کے چھوٹے ذیلی سیٹ کو تربیت دے کر ماڈلز کو اپناتے ہیں۔

ایک عمدہ ٹیوننگ تکنیک جو میموری کی ضروریات کو کم کرنے کے لیے LoRA اڈاپٹر کے ساتھ 4 بٹ وزن کی مقدار کو یکجا کرتی ہے۔

فائن ٹیوننگ

پہلے سے تربیت یافتہ ماڈل کو مخصوص کام کے لیے ڈھالنے کے لیے ڈومین کے مخصوص ڈیٹا پر تربیت جاری رکھنا۔

انسٹرکشن ٹیوننگ

مندرجہ ذیل کام کو بہتر بنانے کے لیے انسٹرکشن رسپانس جوڑوں پر ماڈل کو ٹھیک کرنا۔

ڈی پی او (براہ راست ترجیحی اصلاح)

ایک تربیتی طریقہ جو ماڈلز کو براہ راست ترجیحی جوڑوں پر بناتا ہے بغیر کسی علیحدہ انعامی ماڈل کی ضرورت کے۔

لیبل ہموار کرنا

ریگولرائزیشن کا ایک طریقہ جو عامیت کو بہتر بنانے کے لیے سخت لیبلز کو نرم کرتا ہے۔

ہماری مفت گائیڈز میں مزید جانیں۔

AI Workflow Automation Barlow Twins and Redundancy Reduction Domain Adaptation Kubeflow and ML Pipeline Orchestration

See also

Learning Rate Loss Function Large Language Model (LLM)Machine Learning (ML)Latency Memory (Agent Memory)Mixture of Experts (MoE)Knowledge Graph

مکمل AI لغت براؤز کریں۔تمام مفت AI گائیڈز دریافت کریں۔