پریفکس ٹیوننگ
پریفکس ٹیوننگ ایک پیرامیٹر کے لحاظ سے موثر طریقہ ہے کہ ایک منجمد لینگویج ماڈل کو مسلسل ویکٹروں کے ایک چھوٹے سے سیٹ کی تربیت دے کر جو ہر پرت کے ان پٹ سے منسلک ہو جاتے ہیں۔
جائزہ
It lets you customize giant models for new tasks while updating less than 1% of parameters.
گہرا غوطہ
اسٹینفورڈ کے محققین لی اور لیانگ نے 2021 میں متعارف کرایا پریفکس ٹیوننگ، پہلے سے تربیت یافتہ ٹرانسفارمر کو اس کے وزن کو چھوئے بغیر ڈھال لیتی ہے۔ تمام پیرامیٹرز کو ٹھیک کرنے کے بجائے، یہ قابل تربیت 'ورچوئل ٹوکنز' (سابقہ ) کی ترتیب کو ہر توجہ کی پرت پر چابیاں اور اقدار سے آگے بڑھاتا ہے۔ منجمد ماڈل اس سابقہ پر اس طرح حاضر ہوتا ہے جیسے یہ حقیقی سیاق و سباق ہو، اپنے طرز عمل کو ہدف کے کام کی طرف لے جاتا ہے۔ چونکہ صرف سابقہ ویکٹر سیکھے جاتے ہیں، اس لیے آپ مکمل ماڈل کاپی کے بجائے ایک چھوٹا سا سابقہ فی کام ذخیرہ کر سکتے ہیں۔ یہ بہت سارے کاموں کو سستا بناتا ہے اور مکمل فائن ٹیوننگ کے اسٹوریج کو پھٹنے سے بچاتا ہے۔ یہ ٹیبل ٹو ٹیکسٹ اور سمریائزیشن جیسے جنریشن کے کاموں پر خاص طور پر اچھی کارکردگی کا مظاہرہ کرتا ہے، جو اکثر ہائی ڈیٹا سیٹنگز میں مکمل فائن ٹیوننگ سے مماثل ہوتا ہے۔
تکنیکی بصیرت
پرامپٹ ٹیوننگ کے برعکس، جو صرف ان پٹ ایمبیڈنگ لیئر میں ویکٹرز کا اضافہ کرتی ہے، پریفکس ٹیوننگ ہر ٹرانسفارمر پرت کی خود توجہ میں قابل تربیت کلید/ویلیو ویکٹرز کو انجیکٹ کرتی ہے۔ تربیت کو مستحکم کرنے کے لیے، سابقہ عام طور پر ایک چھوٹے سے فیڈ فارورڈ نیٹ ورک (ایک ری پیرامیٹرائزیشن ٹرک) کے ذریعے تیار کیا جاتا ہے بجائے اس کے کہ براہ راست بہتر بنایا جائے۔ اس نیٹ ورک کو تربیت کے بعد ضائع کر دیا جاتا ہے، صرف سیکھے ہوئے سابقہ میٹرکس کو چھوڑ کر۔ صرف یہ سابقہ پیرامیٹرز گریڈینٹ حاصل کرتے ہیں — پوری ریڑھ کی ہڈی منجمد رہتی ہے۔
اسٹریٹجک اثر
رفتار اور پیمانہ
زبان کے کام کے بہاؤ مستقل مزاجی کی قربانی کے بغیر تیزی سے آگے بڑھ سکتے ہیں۔
رسائی اور رسائی
یہ زبانوں اور مواصلاتی طرزوں تک رسائی کو بڑھاتا ہے۔
واضح فیصلے
ٹیمیں فیصلے پر زیادہ وقت گزار سکتی ہیں جبکہ آٹومیشن تکرار کو سنبھالتی ہے۔
پریفکس ٹیوننگ کا مستقبل
پریفکس ٹیوننگ نے پیرامیٹر سے موثر فائن ٹیوننگ (PEFT) لہر کو شروع کرنے میں مدد کی اور ہگنگ فیس پی ای ایف ٹی جیسی لائبریریوں میں ایک عمارت کا حصہ بنی ہوئی ہے۔ جیسے جیسے بیس ماڈلز سیکڑوں اربوں پیرامیٹرز میں بڑھتے ہیں، ہلکے وزن کے اڈاپٹر جیسے پریفکس ملٹی کرایہ دار سرونگ اور آن ڈیوائس پرسنلائزیشن کے لیے تیزی سے پرکشش ہوتے ہیں۔ مسلسل ہائبرڈ اپروچز کی توقع کریں جو LoRA طرز کے کم درجے کی اپ ڈیٹس کے ساتھ سابقہ جات کو ملاتے ہیں، اور پورے ماڈلز کی دوبارہ تربیت کیے بغیر اسٹائل، شخصیت اور حفاظتی رویے کو کنٹرول کرنے میں بڑھتے ہوئے استعمال کی توقع کرتے ہیں۔
حقیقی دنیا کا نفاذ
WebNLG ڈیٹاسیٹ پر ایک چھوٹا سا سابقہ تربیت دے کر ٹیبل ٹو ٹیکسٹ جنریشن کے لیے ایک منجمد GPT-2 بیک بون کو اپنانا
ایک مشترکہ ماڈل سے درجنوں کسٹمر کے لیے مخصوص خلاصہ کی طرزیں پیش کرنا، ہر ایک کو تبدیل کرنے کے قابل سابقہ فائل کے طور پر
بنیادی وزن کو دوبارہ تربیت دیے بغیر چیٹ بوٹ کے لیے زبان کے ماڈل کے لہجے یا شخصیت کو اسٹیئر کرنا
کم ڈیٹا ڈومین موافقت، جیسے قانونی یا میڈیکل ٹیکسٹ جنریشن، جہاں مکمل فائن ٹیوننگ زیادہ فٹ ہو جائے گی۔
خطرات اور گارڈریلز
گمراہ شدہ حقائق خاموشی سے رپورٹس، سپورٹ فلو، یا تحقیقی نتائج درج کر سکتے ہیں۔
فوری حساسیت اسی طرح کی درخواستوں میں متضاد نتائج پیدا کر سکتی ہے۔
اگر رسائی کے کنٹرول کمزور ہیں تو حساس ٹیکسٹ ڈیٹا کو بے نقاب کیا جا سکتا ہے۔
نفاذ کا روڈ میپ
رول آؤٹ سے پہلے آؤٹ پٹ فارمیٹ، ٹون اور معیار کے معیارات کی وضاحت کریں۔
جب بھی درستگی اہمیت رکھتی ہے تو بھروسہ مند ذرائع کے ساتھ زمینی جوابات۔
ہائی اسٹیک آؤٹ پٹس کے لیے ایک انسانی جائزہ چیک پوائنٹ رکھیں۔
ناکامی کے نمونوں کو ٹریک کریں اور پرامپٹس یا ورک فلو کو باقاعدگی سے دوبارہ تربیت دیں۔
دریافت کرتے رہیں
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Prefix Tuning quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
اگلا گائیڈ
ریجیکشن سیمپلنگ فائن ٹیوننگ
اکثر پوچھے گئے سوالات
What is Prefix Tuning?
پریفکس ٹیوننگ ایک پیرامیٹر کے لحاظ سے موثر طریقہ ہے کہ ایک منجمد لینگویج ماڈل کو مسلسل ویکٹروں کے ایک چھوٹے سے سیٹ کی تربیت دے کر جو ہر پرت کے ان پٹ سے منسلک ہو جاتے ہیں۔ یہ آپ کو 1% سے کم پیرامیٹرز کو اپ ڈیٹ کرتے ہوئے نئے کاموں کے لیے بڑے ماڈلز کو اپنی مرضی کے مطابق بنانے دیتا ہے۔
پریفکس ٹیوننگ اصل میں کیا تربیت دیتی ہے؟
پریفکس ٹیوننگ ریڑھ کی ہڈی کو منجمد کر دیتی ہے اور اسے پیرامیٹر کے لحاظ سے موثر رکھتے ہوئے مسلسل پریفکس ویکٹرز کا صرف ایک چھوٹا سا سیٹ سیکھتا ہے۔
پریفکس ویکٹر کہاں لگائے جاتے ہیں؟
پریفکس ٹیوننگ ہر ٹرانسفارمر پرت کی خود توجہ پر تربیت کے قابل کلیدی/ویلیو ویکٹر کو آگے بڑھاتی ہے، نہ کہ صرف ان پٹ پر۔
کس نے پریفکس ٹیوننگ متعارف کروائی اور تقریباً کب؟
پریفکس ٹیوننگ کی تجویز ژیانگ لیزا لی اور پرسی لیانگ نے 2021 میں سٹینفورڈ میں دی تھی۔
بہت سے کاموں کو انجام دینے کے لیے پریفکس ٹیوننگ کیوں پرکشش ہے؟
چونکہ صرف چھوٹا سا سابقہ ٹاسک کے لیے مخصوص ہے، اس لیے آپ پورے ماڈل کو ڈپلیکیٹ کرنے کے بجائے فی کام ایک چھوٹی فائل اسٹور کرتے ہیں۔
پریفکس ٹریننگ کو مستحکم کرنے کے لیے اکثر کون سی چال استعمال کی جاتی ہے؟
ایک چھوٹا MLP استحکام کے لیے تربیت کے دوران سابقہ تیار کرتا ہے، پھر اسے پھینک دیا جاتا ہے، صرف سیکھے ہوئے سابقہ میٹرکس کو چھوڑ کر۔