التعلم المستمر والنسيان الكارثي

العقبة المركزية فيها هي النسيان الكارثي: عندما تتعلم شبكة عصبية مهمة جديدة، تحل تحديثات التدرج فوق الأوزان التي كانت ترمز المهام السابقة، وتنهار المهارات القديمة.

تفترض الشبكات العصبية القياسية أن جميع البيانات متاحة مرة واحدة. في العالم الحقيقي، تصل البيانات بشكل تسلسلي، ويؤدي الضبط الدقيق للمهام الجديدة بشكل ساذج إلى النسيان الكارثي - حيث يتراجع الأداء في المهام السابقة بسبب إعادة كتابة الأوزان المشتركة. يسعى التعلم المستمر إلى تحقيق التوازن بين الاستقرار (الاحتفاظ بالمعرفة القديمة) والمرونة (استيعاب المعرفة الجديدة)، وهي معضلة الاستقرار والمرونة الكلاسيكية. توجد ثلاث مجموعات رئيسية من الحلول: طرق التنظيم مثل توحيد الوزن المرن الذي يفرض عقوبات على التغييرات في الأوزان التي تعتبر مهمة للمهام القديمة؛ أساليب إعادة التشغيل التي تخزن أو تولد عينات من المهام السابقة وتشذيرها أثناء التدريب؛ والأساليب المعمارية التي تخصص معلمات أو وحدات جديدة لكل مهمة. لا توجد طريقة واحدة تحل هذه المشكلة بشكل كامل، ويمتد التقييم إلى إعدادات المهام والمجال والفئة الإضافية.