تباہ کن بھول جانا
تباہ کن بھول جانا تب ہوتا ہے جب ایک نیورل نیٹ ورک کوئی نیا کام سیکھتا ہے اور اچانک ان کاموں کو انجام دینے کی اپنی صلاحیت کھو دیتا ہے جس میں اس نے پہلے ہی مہارت حاصل کر لی تھی۔
جائزہ
It is a central obstacle to building AI that learns continually without retraining from scratch.
گہرا غوطہ
عصبی نیٹ ورک مشترکہ وزن میں علم ذخیرہ کرتے ہیں۔ جب آپ کسی ماڈل کو کسی نئے کام پر تربیت دیتے ہیں، تو گریڈیئنٹ اپ ڈیٹس ان پیرامیٹرز کو اوور رائٹ کر دیتے ہیں جنہوں نے پہلے کی مہارتوں کو انکوڈ کیا تھا، اس لیے پرانی کارکردگی ختم ہو سکتی ہے۔ یہ تباہ کن فراموش ہے، جسے تباہ کن مداخلت بھی کہا جاتا ہے، جسے پہلی بار 1989 میں میک کلوسکی اور کوہن نے دستاویز کیا تھا۔ یہ ترتیب وار یا مسلسل سیکھنے میں شدید ہوتا ہے، جہاں ڈیٹا سب کو ملانے کے بجائے مراحل میں آتا ہے۔ مثال کے طور پر، قانونی متن پر بھاری بھرکم چیٹ بوٹ کو ٹھیک کرنا اس کی عمومی گفتگو کی صلاحیت کو کم کر سکتا ہے۔ معیاری بروٹ فورس فکس تمام کاموں کو مشترکہ طور پر دوبارہ تربیت دینا ہے، لیکن یہ مہنگا ہے اور فرض کرتا ہے کہ آپ کے پاس اب بھی پرانا ڈیٹا موجود ہے۔ محققین اس کے بجائے ایسی تکنیکوں کا استعمال کرتے ہیں جو اہم وزن کی حفاظت کرتی ہیں، ماضی کی مثالوں کو دوبارہ چلاتی ہیں، یا کام کے لیے مخصوص پیرامیٹرز کو شامل کرتی ہیں، ان سب کا مقصد ماڈلز کو علم جمع کرنے دینا ہے جس طرح انسان کرتے ہیں۔
تکنیکی بصیرت
بھول جانا اس لیے ہوتا ہے کہ ایک ہی وزن کو تمام کاموں میں دوبارہ استعمال کیا جاتا ہے، اور نئے ڈیٹا پر غیر محدود تدریجی نزول انہیں آزادانہ طور پر منتقل کرتا ہے۔ تخفیف میں لچکدار وزن کا استحکام شامل ہے، جس میں ایک جرمانہ شامل ہوتا ہے جو پرانے کاموں کے لیے اہم سمجھے جانے والے پیرامیٹرز میں تبدیلیوں کو سست کر دیتا ہے (فشر کی معلومات کے ذریعے اندازہ لگایا جاتا ہے)۔ دوسرے طریقوں میں ریہرسل یا تجربہ ری پلے (انٹرلیونگ اسٹور یا جنریٹڈ پرانی مثالیں) اور پیرامیٹر آئسولیشن کے طریقے جیسے اڈاپٹر یا LoRA جو بیس ماڈل کو منجمد کرتے ہیں اور چھوٹے نئے ماڈیولز شامل کرتے ہیں۔
اسٹریٹجک اثر
رفتار اور پیمانہ
زبان کے کام کے بہاؤ مستقل مزاجی کی قربانی کے بغیر تیزی سے آگے بڑھ سکتے ہیں۔
رسائی اور رسائی
یہ زبانوں اور مواصلاتی طرزوں تک رسائی کو بڑھاتا ہے۔
واضح فیصلے
ٹیمیں فیصلے پر زیادہ وقت گزار سکتی ہیں جبکہ آٹومیشن تکرار کو سنبھالتی ہے۔
تباہ کن بھولنے کا مستقبل
جیسا کہ ماڈلز ون شاٹ ٹریننگ سے زندگی بھر، مسلسل اپ ڈیٹ شدہ سسٹمز کی طرف بڑھتے ہیں، بھولنے پر قابو پانا ضروری ہو جاتا ہے۔ پیرامیٹر کے موثر طریقے جیسے LoRA اڈاپٹر ٹیموں کو بیس ماڈل میں خلل ڈالے بغیر مہارتیں شامل کرنے دیتے ہیں، اور بازیافت سے بڑھے ہوئے نظام وزن کی بجائے نئے علم کو بیرونی اسٹور میں رکھ کر مسئلہ کو دور کرتے ہیں۔ مسلسل سیکھنے کے بینچ مارکس، ماڈیولر آرکیٹیکچرز، اور دماغ سے متاثر کنسولیڈیشن تکنیکوں کے پختہ ہونے کی توقع کریں، جو ہمیں ان ماڈلز کی طرف لے جائیں جو تازہ معلومات کے ساتھ اپ ڈیٹ ہوتے ہیں اور جو وہ پہلے سے جانتے ہیں اسے قابل اعتماد طریقے سے برقرار رکھتے ہیں۔
حقیقی دنیا کا نفاذ
ایک عام چیٹ بوٹ جو طبی متن پر بہت زیادہ اچھی طرح سے بنایا گیا ہے وہ آرام دہ گفتگو میں روانی کھو دیتا ہے۔
لچکدار ویٹ کنسولیڈیشن گیم کھیلنے والے ایجنٹ کو پرانے کو بھولے بغیر نئے اٹاری گیمز سیکھنے دیتا ہے۔
منجمد بیس ماڈل کی صلاحیتوں کو برقرار رکھتے ہوئے ٹیمیں LoRA اڈاپٹر کا استعمال کرتے ہوئے ایک نئی ڈومین مہارت شامل کرتی ہیں۔
پرانی کارکردگی کو محفوظ رکھنے کے لیے ماضی کی مثالوں کو دوبارہ چلانے کا تجربہ کریں اور نئی تربیت کے دوران ان کو آپس میں جوڑ دیں۔
خطرات اور گارڈریلز
گمراہ شدہ حقائق خاموشی سے رپورٹس، سپورٹ فلو، یا تحقیقی نتائج درج کر سکتے ہیں۔
فوری حساسیت اسی طرح کی درخواستوں میں متضاد نتائج پیدا کر سکتی ہے۔
اگر رسائی کے کنٹرول کمزور ہیں تو حساس ٹیکسٹ ڈیٹا کو بے نقاب کیا جا سکتا ہے۔
نفاذ کا روڈ میپ
رول آؤٹ سے پہلے آؤٹ پٹ فارمیٹ، ٹون اور معیار کے معیارات کی وضاحت کریں۔
جب بھی درستگی اہمیت رکھتی ہے تو بھروسہ مند ذرائع کے ساتھ زمینی جوابات۔
ہائی اسٹیک آؤٹ پٹس کے لیے ایک انسانی جائزہ چیک پوائنٹ رکھیں۔
ناکامی کے نمونوں کو ٹریک کریں اور پرامپٹس یا ورک فلو کو باقاعدگی سے دوبارہ تربیت دیں۔
دریافت کرتے رہیں
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Catastrophic Forgetting quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
اگلا گائیڈ
مسلسل سیکھنا اور تباہ کن بھول جانا
اکثر پوچھے گئے سوالات
What is Catastrophic Forgetting?
تباہ کن بھول جانا تب ہوتا ہے جب ایک نیورل نیٹ ورک کوئی نیا کام سیکھتا ہے اور اچانک ان کاموں کو انجام دینے کی اپنی صلاحیت کھو دیتا ہے جس میں اس نے پہلے ہی مہارت حاصل کر لی تھی۔ یہ AI بنانے میں ایک مرکزی رکاوٹ ہے جو شروع سے دوبارہ تربیت کیے بغیر مسلسل سیکھتی رہتی ہے۔
تباہ کن بھول کیا ہے؟
تباہ کن بھول جانا پرانی صلاحیتوں کا اچانک نقصان ہے جب کسی نیٹ ورک کو کسی نئے کام پر تربیت دی جاتی ہے، کیونکہ مشترکہ وزن اوور رائٹ ہو جاتا ہے۔
عصبی نیٹ ورکس میں تباہ کن بھول کیوں ہوتی ہے؟
علم مشترکہ پیرامیٹرز میں رہتا ہے، اس لیے نئے ڈیٹا پر تربیت وہی وزن بدل دیتی ہے اور پہلے کی تعلیم کو مٹا دیتی ہے۔
ایلاسٹک ویٹ کنسولیڈیشن (EWC) بھول جانے کو کم کرنے کے لیے کیا کرتا ہے؟
EWC ایک ریگولرائزیشن جرمانہ شامل کرتا ہے جو پرانے کاموں کے لیے اہم سمجھے جانے والے پیرامیٹرز کی اپ ڈیٹس کو سست کر دیتا ہے، جس کا اندازہ فشر کی معلومات کے ذریعے لگایا جاتا ہے۔
ری پلے (ریہرسل) جنگی بھولنے کا تجربہ کیسے ہوتا ہے؟
نئے کاموں کو سیکھنے کے دوران ریہرسل ماضی کی مثالوں (اسٹور یا جنریٹڈ) میں گھل مل جاتی ہے تاکہ پرانی کارکردگی کو تقویت ملے۔
تباہ کن بھول جانے سے بچنے کے لیے LoRA اڈاپٹر کیوں کارآمد ہیں؟
LoRA بیس ماڈل کو منجمد رکھتا ہے اور چھوٹے ایڈ آن پیرامیٹرز سیکھتا ہے، اس لیے نئی مہارتیں موجودہ صلاحیتوں کو متاثر نہیں کرتی ہیں۔