سیاق و سباق میں سیکھنا
سیاق و سباق میں سیکھنا بڑے لینگویج ماڈلز کی حیرت انگیز قابلیت ہے کہ پرامپٹ میں دی گئی چند مثالوں سے، بغیر کسی دوبارہ تربیت کے ایک نیا کام اٹھانا۔
جائزہ
It is the reason you can 'teach' a model on the fly just by showing it what you want.
گہرا غوطہ
عام طور پر، نیورل نیٹ ورک کو ایک نیا کام سکھانے کا مطلب ہے تربیت کے ذریعے اس کے وزن کو اپ ڈیٹ کرنا۔ سیاق و سباق میں سیکھنا مختلف ہے: آپ کچھ مثالیں براہ راست پرامپٹ ('سیاق و سباق') میں لکھتے ہیں، اور ماڈل پیٹرن کا اندازہ لگاتا ہے اور اسے نئے ان پٹ پر لاگو کرتا ہے۔ ماڈل کے اندر کچھ بھی نہیں بدلتا۔ مثالیں صرف اگلے ٹوکن کی پیشن گوئی کو آگے بڑھاتی ہیں۔ آپ 'زیرو شاٹ' (صرف ہدایات)، 'ون شاٹ' (ایک مثال)، اور 'کچھ شاٹ' (کئی مثالیں) سنیں گے۔ یہ رویہ 2020 میں GPT-3 کے ذریعے مقبول ہوا اور یہ ایک ابھرتی ہوئی قابلیت ثابت ہوا: چھوٹے ماڈل ایسا نہیں کر سکتے، لیکن تقریباً 100-بلین پیرامیٹر پیمانے پر، چند شاٹ پرامپٹس پر درستگی تیزی سے بڑھ جاتی ہے۔ ماڈل نے پہلے سے تربیت کے دوران نمونوں کو پہچاننا اور اسے جاری رکھنا مؤثر طریقے سے سیکھا، اس لیے یہ اس مہارت کو تخمینہ کے وقت دوبارہ استعمال کر سکتا ہے۔
تکنیکی بصیرت
تشریحی تحقیق نے 'انڈکشن ہیڈز' کی اس قابلیت کا زیادہ تر پتہ لگایا - توجہ کے سرکٹس جو تربیت کے دوران ابھرتے ہیں اور مبہم پریفکس میچنگ انجام دیتے ہیں: وہ اس کے لیے واپس اسکین کرتے ہیں جہاں ایک جیسا ٹوکن ظاہر ہوا، پھر اس کے بعد کیا ہوا اس کی کاپی کرتے ہیں۔ لہذا جب آپ کا پرامپٹ 'سیب -> پھل، گاجر -> سبزی' دکھاتا ہے، تو ماڈل ساخت سے میل کھاتا ہے اور اگلی شے کے لیے صحیح لیبل کی پیش گوئی کرتا ہے۔ اہم طور پر، کوئی میلان نہیں بہہ رہا ہے اور نہ ہی کوئی وزن اپ ڈیٹ ہے۔ مثالیں صرف ان ایکٹیویشنز کو نئی شکل دیتی ہیں جو اگلی ٹوکن امکانی تقسیم کو فیڈ کرتی ہیں۔
اسٹریٹجک اثر
رفتار اور پیمانہ
زبان کے کام کے بہاؤ مستقل مزاجی کی قربانی کے بغیر تیزی سے آگے بڑھ سکتے ہیں۔
رسائی اور رسائی
یہ زبانوں اور مواصلاتی طرزوں تک رسائی کو بڑھاتا ہے۔
واضح فیصلے
ٹیمیں فیصلے پر زیادہ وقت گزار سکتی ہیں جبکہ آٹومیشن تکرار کو سنبھالتی ہے۔
سیاق و سباق میں سیکھنے کا مستقبل
سیاق و سباق کی کھڑکیوں کو پھیلانا (اب سیکڑوں ہزاروں ٹوکنز) سیاق و سباق میں سیکھنے کو 'بہت سے شاٹ' حکومتوں کی طرف دھکیلتا ہے، جہاں درجنوں یا سیکڑوں مثالیں کچھ کاموں کے لیے فائن ٹیوننگ کا مقابلہ کر سکتی ہیں، بغیر کسی تربیتی لاگت کے۔ بازیافت کے ساتھ سخت انضمام کی توقع کریں، لہذا متعلقہ مثالیں خود بخود حاصل کی جاتی ہیں، اور سیاق و سباق کے اندر سیکھنے میں ناکام ہونے یا مشغول ہونے پر بہتر نظریہ۔ یہ ایک ماڈل کو اپنانے کا تیز رفتار، سستا طریقہ رہے گا، جس کی تکمیل ہو گی — تبدیل نہیں کی جائے گی — مستحکم، اعلیٰ حجم کے کاموں کے لیے فائن ٹیوننگ۔
حقیقی دنیا کا نفاذ
ایک چیٹ بوٹ کو تین مثال کے طور پر سپورٹ ٹکٹ اور ان کے زمرے دینا، پھر اسے اسی طرح نئے ٹکٹ کی درجہ بندی کرنا
گندے متن کے جوڑے سے پہلے / بعد میں ایک ماڈل کو صاف JSON میں دوبارہ فارمیٹ کرنا تاکہ یہ باقی کو تبدیل کردے۔
اپنے برانڈ کے لہجے میں پروڈکٹ کی چند نمونے کی تفصیل چسپاں کرنا تاکہ نئے انداز سے مماثل ہوں۔
ایک مشکل ریاضی کے لفظی مسئلے کا مظاہرہ کرنا مرحلہ وار کام کرتا ہے تاکہ ماڈل اسی طرح کے مسائل کو اسی استدلال کی شکل کے ساتھ حل کرتا ہے۔
خطرات اور گارڈریلز
گمراہ شدہ حقائق خاموشی سے رپورٹس، سپورٹ فلو، یا تحقیقی نتائج درج کر سکتے ہیں۔
فوری حساسیت اسی طرح کی درخواستوں میں متضاد نتائج پیدا کر سکتی ہے۔
اگر رسائی کے کنٹرول کمزور ہیں تو حساس ٹیکسٹ ڈیٹا کو بے نقاب کیا جا سکتا ہے۔
نفاذ کا روڈ میپ
رول آؤٹ سے پہلے آؤٹ پٹ فارمیٹ، ٹون اور معیار کے معیارات کی وضاحت کریں۔
جب بھی درستگی اہمیت رکھتی ہے تو بھروسہ مند ذرائع کے ساتھ زمینی جوابات۔
ہائی اسٹیک آؤٹ پٹس کے لیے ایک انسانی جائزہ چیک پوائنٹ رکھیں۔
ناکامی کے نمونوں کو ٹریک کریں اور پرامپٹس یا ورک فلو کو باقاعدگی سے دوبارہ تربیت دیں۔
دریافت کرتے رہیں
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the In-Context Learning quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
اگلا گائیڈ
سیاق و سباق ونڈوز
اکثر پوچھے گئے سوالات
What is In-Context Learning?
سیاق و سباق میں سیکھنا بڑے لینگویج ماڈلز کی حیرت انگیز قابلیت ہے کہ پرامپٹ میں دی گئی چند مثالوں سے، بغیر کسی دوبارہ تربیت کے ایک نیا کام اٹھانا۔ یہی وجہ ہے کہ آپ جو چاہیں دکھا کر پرواز پر ایک ماڈل کو 'سکھ' سکتے ہیں۔
سیاق و سباق میں سیکھنے کے دوران ماڈل کے اندر بنیادی طور پر کیا تبدیلیاں آتی ہیں؟
سیاق و سباق میں سیکھنا مکمل طور پر تخمینہ پر ہوتا ہے۔ پرامپٹ میں موجود مثالیں ماڈل کی ایکٹیویشنز اور اگلی ٹوکن پیشین گوئیوں کو شکل دیتی ہیں، لیکن کوئی وزن اپ ڈیٹ نہیں کیا جاتا ہے۔
سیاق و سباق میں سیکھنے کو 'ایمرجنٹ' قابلیت کے طور پر کیوں بیان کیا گیا ہے؟
چھوٹے ماڈلز میں یہ صلاحیت کمزور یا غیر موجود ہوتی ہے اور ماڈلز بہت بڑے پیمانے پر پہنچنے کے بعد تیزی سے چڑھتی ہے، اسی لیے اسے ایمرجنٹ کہا جاتا ہے۔
کون سا اندرونی طریقہ کار ٹرانسفارمرز میں سیاق و سباق میں سیکھنے کے ساتھ سب سے زیادہ وابستہ ہے؟
تشریحی کام نے انڈکشن ہیڈز کی نشاندہی کی ہے - توجہ کے سرکٹس جو یہ تلاش کرتے ہیں کہ ایک جیسا ٹوکن کہاں ظاہر ہوا اور اس کے بعد کیا آیا کاپی کریں - سیاق و سباق سیکھنے کے بنیادی ڈرائیور کے طور پر۔