منتقلی کے لیے اڈاپٹر پرتیں۔

Houlsby et al کے ذریعہ مقبول کردہ اڈاپٹر۔ (2019) NLP میں ٹرانسفر لرننگ کے لیے، ایک مہنگے مسئلے کو حل کریں: مکمل فائن ٹیوننگ ایک بڑے ماڈل میں ہر وزن کو اپ ڈیٹ کرتی ہے اور فی کام ایک مکمل نئی کاپی تیار کرتی ہے۔ اس کے بجائے ایک اڈاپٹر ہر ٹرانسفارمر بلاک میں چھوٹے رکاوٹوں کے نیٹ ورک داخل کرتا ہے، عام طور پر ایک کم جہت، ایک نان لائنیرٹی، اور ایک اپ پروجیکشن بیک، ایک بقایا کنکشن میں لپیٹا جاتا ہے۔ تربیت کے دوران اصل پہلے سے تربیت یافتہ وزن منجمد رہتا ہے۔ صرف اڈاپٹر (اکثر کل پیرامیٹرز کے 5% سے کم) سیکھے جاتے ہیں۔ یہ بہت کم پیرامیٹرز کی تربیت کے دوران GLUE جیسے بینچ مارکس پر قریب قریب مکمل فائن ٹیوننگ کا معیار حاصل کرتا ہے۔ چونکہ ہر کام کو اپنا چھوٹا اڈاپٹر ملتا ہے، اس لیے آپ ایک بیس ماڈل کے علاوہ بہت سے ہلکے وزن والے ٹاسک ماڈیولز کو اسٹور کرسکتے ہیں، اور انہیں تبدیل یا اسٹیک بھی کرسکتے ہیں۔ ایل او آر اے اور پریفکس ٹیوننگ کے ساتھ ساتھ اڈاپٹر پیرامیٹر ایفیشینٹ فائن ٹیوننگ (PEFT) فیملی کے ایک بنیادی رکن ہیں۔