LoRA ماہرین کوئز کا مرکب

جب آپ کوئز دیتے ہیں تو جوابات اور وضاحتیں ظاہر ہوتی ہیں۔

1. LoRA ماہرین کے مرکب کا 'LoRA' حصہ کس چیز کا حوالہ دیتا ہے؟
   • کم درجہ کی موافقت، جو پورے وزن کے بجائے چھوٹے کم درجے کے میٹرکس کو تربیت دیتی ہے۔
   • ایک کمک سیکھنے کے انعام کا ماڈل
   • ایک طویل فاصلے تک توجہ کا طریقہ کار
   • اڈاپٹر کے لیے ڈیٹا لوڈ کرنے والی پائپ لائن
2. MoLE میں گیٹنگ/راؤٹر نیٹ ورک کا کام کیا ہے؟
   • بیس ماڈل کے وزن کو کمپریس کرنے کے لیے
   • یہ فیصلہ کرنے کے لیے کہ کون سے ماہرین کو چالو کرنا ہے اور دیے گئے ان پٹ کے لیے کس وزن کے ساتھ
   • اڈاپٹر کے لیے تربیتی ڈیٹا تیار کرنا
   • متن کو ایمبیڈنگ میں تبدیل کرنے کے لیے
3. MoLE اکثر ایک اڈاپٹر کو کئی مخلوط کاموں پر تربیت دینے سے بہتر کیوں ہے؟
   • یہ ڈیزائن کے لحاظ سے زیادہ GPU میموری استعمال کرتا ہے۔
   • یہ کسی بھی بیس ماڈل کی ضرورت کو ختم کرتا ہے۔
   • یہ الگ الگ کمپوز ایبل ماہرین میں مہارت رکھ کر مداخلت اور بھول جانے کو کم کرتا ہے۔
   • یہ صرف ایک زبان پر کام کرتا ہے۔
4. LoRA میں، وزن کی تازہ کاری کو عام طور پر درج ذیل میں سے کس کے طور پر ظاہر کیا جاتا ہے؟
   • ایک مکمل گھنے میٹرکس W کی جگہ لے رہا ہے۔
   • ڈبلیو پر ایک واحد اسکیلر ضرب
   • ایک بے ترتیب شور میٹرکس نے ہر قدم کو شامل کیا۔
   • دو نچلے درجے والے میٹرکس کی پیداوار، B اوقات A
5. MoLE ٹریننگ کے دوران، عام طور پر بیس ماڈل کے پہلے سے تربیت یافتہ وزن کا کیا ہوتا ہے؟
   • وہ منجمد رہتے ہیں جب کہ صرف اڈاپٹر اور روٹر کو تربیت دی جاتی ہے۔
   • وہ مکمل طور پر شروع سے دوبارہ تربیت یافتہ ہیں۔
   • انہیں حذف کر کے دوبارہ بنایا گیا ہے۔
   • ان کی مقدار کو تھوڑا سا لگایا گیا ہے۔
6. ڈفیوژن امیج ماڈلز میں، MoLE میں درجہ بندی/فی لیئر گیٹنگ کس مسئلے کو حل کرنے میں مدد کرتی ہے؟
   • سست انٹرنیٹ ڈاؤن لوڈ
   • ایک سے زیادہ تصور LoRAs جب ایک دوسرے پر حاوی ہوتے ہیں۔
   • تربیتی ڈیٹا کی کمی
   • غلط فائل فارمیٹس
7. How can a gated LoRA mixture differ from merging all adapter weights into one fixed update?
   • It must retrain the pretrained backbone for every prompt
   • It can use only one expert for all inputs
   • It can select or weight experts conditionally for a task or layer
   • It removes every low-rank matrix before inference
8. In a LoRA update with rank r, what does r control most directly?
   • The number of decoder tokens generated
   • The number of original model layers removed
   • The size of the training vocabulary
   • The dimension of the low-rank factors and thus the capacity and parameter cost of the update