منتقلی کے لیے اڈاپٹر پرتیں۔
اڈاپٹر پرتیں ایک منجمد پہلے سے تربیت یافتہ ماڈل میں داخل کیے جانے والے چھوٹے تربیت یافتہ ماڈیولز ہیں، جو آپ کو صرف چند فیصد پیرامیٹرز کو اپ ڈیٹ کر کے اسے نئے کاموں کے لیے ڈھالنے دیتے ہیں۔
جائزہ
They make fine-tuning cheap, modular, and easy to swap.
گہرا غوطہ
Houlsby et al کے ذریعہ مقبول کردہ اڈاپٹر۔ (2019) NLP میں ٹرانسفر لرننگ کے لیے، ایک مہنگے مسئلے کو حل کریں: مکمل فائن ٹیوننگ ایک بڑے ماڈل میں ہر وزن کو اپ ڈیٹ کرتی ہے اور فی کام ایک مکمل نئی کاپی تیار کرتی ہے۔ اس کے بجائے ایک اڈاپٹر ہر ٹرانسفارمر بلاک میں چھوٹے رکاوٹوں کے نیٹ ورک داخل کرتا ہے، عام طور پر ایک کم جہت، ایک نان لائنیرٹی، اور ایک اپ پروجیکشن بیک، ایک بقایا کنکشن میں لپیٹا جاتا ہے۔ تربیت کے دوران اصل پہلے سے تربیت یافتہ وزن منجمد رہتا ہے۔ صرف اڈاپٹر (اکثر کل پیرامیٹرز کے 5% سے کم) سیکھے جاتے ہیں۔ یہ بہت کم پیرامیٹرز کی تربیت کے دوران GLUE جیسے بینچ مارکس پر قریب قریب مکمل فائن ٹیوننگ کا معیار حاصل کرتا ہے۔ چونکہ ہر کام کو اپنا چھوٹا اڈاپٹر ملتا ہے، اس لیے آپ ایک بیس ماڈل کے علاوہ بہت سے ہلکے وزن والے ٹاسک ماڈیولز کو اسٹور کرسکتے ہیں، اور انہیں تبدیل یا اسٹیک بھی کرسکتے ہیں۔ ایل او آر اے اور پریفکس ٹیوننگ کے ساتھ ساتھ اڈاپٹر پیرامیٹر ایفیشینٹ فائن ٹیوننگ (PEFT) فیملی کے ایک بنیادی رکن ہیں۔
تکنیکی بصیرت
ایک کلاسک بوٹلنک اڈاپٹر ایک d-جہتی پوشیدہ حالت کو بہت چھوٹی جہت m تک پروجیکٹ کرتا ہے، ایک نان لائنیرٹی کا اطلاق کرتا ہے، پھر اسکپ کنکشن کے ساتھ d تک پروجیکٹ کرتا ہے تاکہ یہ شناخت کے قریب شروع ہو۔ m کے ساتھ d سے بہت چھوٹا، شامل کردہ پیرامیٹرز چھوٹے ہیں۔ چونکہ بیس ماڈل منجمد ہے، گریڈیئنٹس صرف اڈاپٹر کے وزن سے گزرتے ہیں، آپٹیمائزر میموری کو کم کرتے ہیں۔ اہم رن ٹائم لاگت فی پرت میں ایک چھوٹی سی اضافی تاخیر ہے، جو LoRA کی طرح سیکھے ہوئے وزن کو بیس میٹرکس میں ضم کرکے کم کرتی ہے۔
اسٹریٹجک اثر
رفتار اور پیمانہ
زبان کے کام کے بہاؤ مستقل مزاجی کی قربانی کے بغیر تیزی سے آگے بڑھ سکتے ہیں۔
رسائی اور رسائی
یہ زبانوں اور مواصلاتی طرزوں تک رسائی کو بڑھاتا ہے۔
واضح فیصلے
ٹیمیں فیصلے پر زیادہ وقت گزار سکتی ہیں جبکہ آٹومیشن تکرار کو سنبھالتی ہے۔
منتقلی کے لیے اڈاپٹر پرتوں کا مستقبل
اڈاپٹر اور وسیع تر PEFT ٹول کٹ اب بڑے ماڈلز کو مناسب طریقے سے اپنی مرضی کے مطابق بنانے کے لیے معیاری ہیں، خاص طور پر ماڈل سائز کے غبارے کے طور پر۔ اڈاپٹر کمپوزیشن (ماڈیولر طور پر ٹاسک یا لینگویج اڈاپٹر کو یکجا کرنا، جیسا کہ اڈاپٹر ہب میں ہے) میں اضافے کی توقع کریں، بہت سے اڈاپٹرز کے درمیان روٹنگ کا اندازہ لگانا، اور آن ڈیوائس پرسنلائزیشن جہاں ایک چھوٹا اڈاپٹر فی صارف مشترکہ بیس ماڈل تیار کرتا ہے۔ سراسر کارکردگی کے لیے LoRA کی مختلف حالتیں تیزی سے حاوی ہو رہی ہیں، لیکن بنیادی خیال، وشال ماڈل کو منجمد کرنا اور ایک چھوٹے پلگ ان کو تربیت دینا، اب اس بات کا مرکز ہے کہ کس طرح فیلڈ کی تخصیص کی جاتی ہے۔
حقیقی دنیا کا نفاذ
ایک زبان کے لیے مخصوص اڈاپٹر کو شامل کرنا تاکہ ایک کثیر لسانی ماڈل کو پورے نیٹ ورک کی دوبارہ تربیت کیے بغیر، سواحلی کے لیے خصوصی بنایا جا سکے۔
SaaS پروڈکٹ میں ایک سنگل بیس ماڈل کے علاوہ درجنوں چھوٹے فی کسٹمر اڈاپٹر کو برقرار رکھنا، فی درخواست میں صحیح کو تبدیل کرنا۔
صرف چند فیصد اڈاپٹر کو تربیت دے کر جذبات کی درجہ بندی کے لیے ماڈل کو ٹھیک کرنا، پھر دوسرے کاموں کے لیے بیس کو مشترکہ رکھنا۔
ماڈیولر دوبارہ استعمال کے لیے ڈومین اڈاپٹر کے اوپر ایک ٹاسک اڈاپٹر کو اسٹیک کرنا (مثال کے طور پر، قانونی متن اڈاپٹر کے علاوہ خلاصہ اڈاپٹر)۔
خطرات اور گارڈریلز
گمراہ شدہ حقائق خاموشی سے رپورٹس، سپورٹ فلو، یا تحقیقی نتائج درج کر سکتے ہیں۔
فوری حساسیت اسی طرح کی درخواستوں میں متضاد نتائج پیدا کر سکتی ہے۔
اگر رسائی کے کنٹرول کمزور ہیں تو حساس ٹیکسٹ ڈیٹا کو بے نقاب کیا جا سکتا ہے۔
نفاذ کا روڈ میپ
رول آؤٹ سے پہلے آؤٹ پٹ فارمیٹ، ٹون اور معیار کے معیارات کی وضاحت کریں۔
جب بھی درستگی اہمیت رکھتی ہے تو بھروسہ مند ذرائع کے ساتھ زمینی جوابات۔
ہائی اسٹیک آؤٹ پٹس کے لیے ایک انسانی جائزہ چیک پوائنٹ رکھیں۔
ناکامی کے نمونوں کو ٹریک کریں اور پرامپٹس یا ورک فلو کو باقاعدگی سے دوبارہ تربیت دیں۔
دریافت کرتے رہیں
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Adapter Layers for Transfer quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
اگلا گائیڈ
T5 اور ٹیکسٹ ٹو ٹیکسٹ ٹرانسفر
اکثر پوچھے گئے سوالات
What is Adapter Layers for Transfer?
اڈاپٹر پرتیں ایک منجمد پہلے سے تربیت یافتہ ماڈل میں داخل کیے جانے والے چھوٹے تربیت یافتہ ماڈیولز ہیں، جو آپ کو صرف چند فیصد پیرامیٹرز کو اپ ڈیٹ کر کے اسے نئے کاموں کے لیے ڈھالنے دیتے ہیں۔ وہ فائن ٹیوننگ کو سستا، ماڈیولر، اور تبدیل کرنے میں آسان بناتے ہیں۔
اڈاپٹر کے ساتھ تربیت کرتے وقت اصل پہلے سے تربیت یافتہ وزن کا کیا ہوتا ہے؟
اڈاپٹر ٹیوننگ بیس ماڈل کو منجمد رکھتی ہے اور صرف چھوٹے داخل کردہ ماڈیول سیکھتی ہے۔
ایک رکاوٹ اڈاپٹر کی مخصوص اندرونی ساخت کیا ہے؟
کلاسک اڈاپٹر پوشیدہ حالت کو کم جہت پر نچوڑتا ہے، ایک نان لائنیرٹی لاگو کرتا ہے، پروجیکٹ بیک اپ کرتا ہے، اور اسکپ کنکشن کا اضافہ کرتا ہے۔
اڈاپٹر عام طور پر پیرامیٹرز کے کس حصے کو تربیت دیتے ہیں؟
اڈاپٹر عام طور پر ماڈل کے کل پیرامیٹرز میں سے صرف چند فیصد کو جوڑتے اور تربیت دیتے ہیں، مکمل فائن ٹیوننگ سے کہیں کم۔
اڈاپٹر بہت سے کاموں کی خدمت کے لیے آسان کیوں ہیں؟
چونکہ ہر کام کو صرف ایک چھوٹے اڈاپٹر کی ضرورت ہوتی ہے، ایک مشترکہ بیس ماڈل ہلکے وزن کے ماڈیولز کو تبدیل کرکے بہت سے کام انجام دے سکتا ہے۔
اڈاپٹر کس تکنیک کے خاندان سے تعلق رکھتے ہیں؟
اڈاپٹر ایک بنیادی PEFT طریقہ ہیں، جس میں LoRA اور پریفکس ٹیوننگ جیسے طریقوں کے ساتھ ساتھ۔