مسلسل سیکھنا اور تباہ کن بھول جانا

Its central obstacle is catastrophic forgetting: when a neural network learns a new task, gradient updates overwrite the weights that encoded earlier tasks, and old skills collapse.

معیاری عصبی نیٹ ورک فرض کرتے ہیں کہ تمام ڈیٹا ایک ساتھ دستیاب ہے۔ حقیقی دنیا میں، اعداد و شمار ترتیب وار آتے ہیں، اور نئے کاموں پر آسانی کے ساتھ ٹھیک ٹیوننگ تباہ کن بھول جانے کا سبب بنتی ہے - پچھلے کاموں پر کارکردگی گر جاتی ہے کیونکہ مشترکہ وزن دوبارہ لکھا جاتا ہے۔ مسلسل سیکھنے کی کوشش ہوتی ہے استحکام (پرانے علم کو برقرار رکھنا) پلاسٹکیت (نئے علم کو جذب کرنے) کے خلاف، کلاسک استحکام-پلاسٹیٹی مخمصہ۔ حل کے تین اہم خاندان موجود ہیں: ریگولرائزیشن کے طریقے جیسے لچکدار وزن کا استحکام جو پرانے کاموں کے لیے اہم سمجھے جانے والے وزن میں تبدیلیوں کو سزا دیتے ہیں۔ دوبارہ چلانے کے طریقے جو ماضی کے کاموں سے نمونے اسٹور یا تیار کرتے ہیں اور تربیت کے دوران ان کو ایک دوسرے سے الگ کرتے ہیں۔ اور آرکیٹیکچرل طریقے جو فی کام نئے پیرامیٹرز یا ماڈیولز مختص کرتے ہیں۔ کوئی ایک طریقہ اسے مکمل طور پر حل نہیں کرتا، اور تشخیص ٹاسک-، ڈومین-، اور کلاس میں اضافہ کی ترتیبات پر محیط ہے۔