نظرة عامة
يحدث النسيان الكارثي عندما تتعلم الشبكة العصبية مهمة جديدة وتفقد فجأة قدرتها على أداء المهام التي أتقنتها بالفعل. إنها عقبة أساسية أمام بناء ذكاء اصطناعي يتعلم باستمرار دون إعادة التدريب من الصفر.
يعد النسيان الكارثي جزءًا من حزمة لغة الذكاء الاصطناعي المستخدمة لقراءة النص والكلام وإنشاءه وتصنيفه وتحويله على نطاق واسع.
الغوص العميق
تقوم الشبكات العصبية بتخزين المعرفة في أوزان مشتركة. عندما تقوم بتدريب نموذج على مهمة جديدة، فإن التحديثات المتدرجة تحل محل المعلمات ذاتها التي قامت بتشفير المهارات السابقة، لذلك يمكن أن ينهار الأداء القديم. وهذا هو النسيان الكارثي، والذي يسمى أيضًا بالتداخل الكارثي، والذي تم توثيقه لأول مرة من قبل مكلوسكي وكوهين في عام 1989. وهو حاد في التعلم المتسلسل أو المستمر، حيث تصل البيانات على مراحل بدلا من خلطها كلها معًا. على سبيل المثال، يمكن أن يؤدي ضبط روبوت الدردشة بشكل كبير على النص القانوني إلى تقليل قدرته العامة على المحادثة. الحل القياسي للقوة الغاشمة هو إعادة التدريب على جميع المهام بشكل مشترك، لكن هذا مكلف ويفترض أنك لا تزال تمتلك البيانات القديمة. يستخدم الباحثون بدلاً من ذلك تقنيات تحمي الأوزان المهمة، أو تعيد عرض الأمثلة السابقة، أو تضيف معلمات خاصة بمهمة معينة، وكل ذلك يهدف إلى السماح للنماذج بتجميع المعرفة بالطريقة التي يفعلها البشر.
البصيرة الفنية
ويحدث النسيان بسبب إعادة استخدام نفس الأوزان عبر المهام، كما أن التدرج غير المقيد للبيانات الجديدة يحركها بحرية. تتضمن عمليات التخفيف توحيد الوزن المرن، الذي يضيف عقوبة تؤدي إلى إبطاء التغييرات في المعلمات التي تعتبر مهمة للمهام القديمة (يتم تقديرها عبر معلومات فيشر). الأساليب الأخرى هي التدرب أو إعادة التشغيل (تشذير الأمثلة القديمة المخزنة أو المنشأة)، وطرق عزل المعلمات مثل المحولات أو LoRA التي تجمد النموذج الأساسي وتضيف وحدات جديدة صغيرة.
إتقان النسيان الكارثي
يحدث النسيان الكارثي عندما تتعلم الشبكة العصبية مهمة جديدة وتفقد فجأة قدرتها على أداء المهام التي أتقنتها بالفعل. إنها عقبة أساسية أمام بناء ذكاء اصطناعي يتعلم باستمرار دون إعادة التدريب من الصفر. يعد النسيان الكارثي جزءًا من حزمة لغة الذكاء الاصطناعي المستخدمة لقراءة النص والكلام وإنشائه وتصنيفه وتحويله على نطاق واسع. لبناء فهم عميق، يجب التعامل مع النسيان الكارثي كنموذج تشغيلي، وليس كميزة واحدة: تحديد النتائج المرغوبة، وتوضيح الافتراضات، وفصل ما يمكن للنظام القيام به بشكل موثوق عما لا يزال يتطلب حكم الخبراء.
من الناحية العملية، تستخدم الفرق القوية تصميم النسيان الكارثي للمطالبات والاسترجاع والمراجعة كنظام اتصال متكامل واحد. وهي تقوم بتوثيق معايير نجاح واضحة، واختبارها مقابل بيانات واقعية وسير العمل، والتكرار بناءً على أنماط الفشل الملحوظة بدلاً من الانتصارات المعيارية لمرة واحدة. وهذا هو المكان الذي يتحول فيه الفهم النظري إلى قدرة دائمة عبر المنتج والسياسة والعمليات.
يمكن أن تتحرك مسارات عمل اللغة بشكل أسرع دون التضحية بالاتساق. وفي الوقت نفسه، يمكن للحقائق المهلوسة أن تدخل التقارير أو التدفقات الداعمة أو مخرجات البحث بهدوء. ويتمثل النهج الأكثر مرونة في الجمع بين سرعة التجريب وانضباط الحوكمة: تشغيل البرامج التجريبية، والتقاط الأدلة، ونشر سجلات القرارات، وتحديث الضمانات بشكل مستمر مع تطور سلوك النموذج، وتوقعات المستخدم، والمتطلبات التنظيمية.
التأثير الاستراتيجي
يمكن أن تتحرك مسارات عمل اللغة بشكل أسرع دون التضحية بالاتساق.
يمكن أن تتحرك مسارات عمل اللغة بشكل أسرع دون التضحية بالاتساق. وفي عمليات النشر عالية الجودة، تتم ترجمة ذلك إلى قواعد تشغيل قابلة للقياس، وحدود ملكية، وطقوس مراجعة متكررة حتى تتمكن الفرق من توسيع نطاق الثقة بدلاً من توسيع نطاق الغموض.
فهو يوسع الوصول عبر اللغات وأنماط الاتصال.
فهو يوسع الوصول عبر اللغات وأنماط الاتصال. وفي عمليات النشر عالية الجودة، تتم ترجمة ذلك إلى قواعد تشغيل قابلة للقياس، وحدود ملكية، وطقوس مراجعة متكررة حتى تتمكن الفرق من توسيع نطاق الثقة بدلاً من توسيع نطاق الغموض.
يمكن للفرق قضاء المزيد من الوقت في الحكم بينما تتعامل الأتمتة مع التكرار.
يمكن للفرق قضاء المزيد من الوقت في الحكم بينما تتعامل الأتمتة مع التكرار. وفي عمليات النشر عالية الجودة، تتم ترجمة ذلك إلى قواعد تشغيل قابلة للقياس، وحدود ملكية، وطقوس مراجعة متكررة حتى تتمكن الفرق من توسيع نطاق الثقة بدلاً من توسيع نطاق الغموض.
التنفيذ في العالم الحقيقي
إن برنامج الدردشة الآلي العام الذي تم ضبطه بشكل كبير على النص الطبي يفقد الطلاقة في المحادثة غير الرسمية.
يتيح توحيد الوزن المرن لوكيل الألعاب تعلم ألعاب Atari الجديدة دون نسيان الألعاب القديمة.
تستخدم الفرق محولات LoRA لإضافة مهارة مجال جديدة مع ترك قدرات النموذج الأساسي المجمد سليمة.
تقوم ميزة إعادة تشغيل التجربة بتخزين الأمثلة السابقة وتشفيرها أثناء التدريب الجديد للحفاظ على الأداء القديم.
أنماط التنفيذ
النسيان الكارثي في الممارسة العملية
إن برنامج الدردشة الآلي العام الذي تم ضبطه بشكل كبير على النص الطبي يفقد الطلاقة في المحادثة غير الرسمية.
إن روبوت الدردشة العام الذي تم ضبطه بشكل كبير على النص الطبي يفقد الطلاقة في المحادثة غير الرسمية، وعادةً ما تحصل الفرق على نتائج أفضل عندما تحدد حدود الجودة مقدمًا، وتحتفظ بمسار تصعيد بشري لحالات الحافة، وتتتبع مكاسب الإنتاجية وتكاليف الأخطاء بمرور الوقت.
النسيان الكارثي في الممارسة العملية
يتيح توحيد الوزن المرن لوكيل الألعاب تعلم ألعاب Atari الجديدة دون نسيان الألعاب القديمة.
يتيح توحيد الوزن المرن لوكيل اللعب تعلم ألعاب Atari الجديدة دون نسيان الألعاب القديمة. عادةً ما تحصل الفرق على نتائج أفضل عندما تحدد حدود الجودة مقدمًا، وتحتفظ بمسار تصعيد بشري لحالات الحافة، وتتتبع مكاسب الإنتاجية وتكاليف الأخطاء بمرور الوقت.
النسيان الكارثي في الممارسة العملية
تستخدم الفرق محولات LoRA لإضافة مهارة مجال جديدة مع ترك قدرات النموذج الأساسي المجمد سليمة.
تستخدم الفرق محولات LoRA لإضافة مهارة مجال جديدة مع ترك قدرات النموذج الأساسي المجمد سليمة. عادةً ما تحصل الفرق على نتائج أفضل عندما تحدد حدود الجودة مقدمًا، وتحتفظ بمسار تصعيد بشري لحالات الحافة، وتتتبع مكاسب الإنتاجية وتكاليف الأخطاء بمرور الوقت.
النسيان الكارثي في الممارسة العملية
تقوم ميزة إعادة تشغيل التجربة بتخزين الأمثلة السابقة وتشفيرها أثناء التدريب الجديد للحفاظ على الأداء القديم.
تقوم إعادة تشغيل التجربة بتخزين الأمثلة السابقة وتشفيرها أثناء التدريب الجديد للحفاظ على الأداء القديم، وعادةً ما تحصل الفرق على نتائج أفضل عندما تحدد حدود الجودة مقدمًا، وتحتفظ بمسار تصعيد بشري لحالات الحافة، وتتتبع مكاسب الإنتاجية وتكاليف الأخطاء بمرور الوقت.
المخاطر والدرابزين
يمكن للحقائق المهلوسة إدخال التقارير أو تدفقات الدعم أو مخرجات البحث بهدوء.
يمكن أن تؤدي الحساسية السريعة إلى نتائج غير متناسقة عبر الطلبات المماثلة.
قد يتم كشف البيانات النصية الحساسة إذا كانت عناصر التحكم في الوصول ضعيفة.
خارطة طريق التنفيذ
حدد تنسيق الإخراج والنغمة ومعايير الجودة قبل بدء التشغيل.
حدد تنسيق الإخراج والنغمة ومعايير الجودة قبل بدء التشغيل. تعامل مع كل خطوة كبوابة دليل: إذا لم يتم استيفاء المعايير، قم بإيقاف التشغيل مؤقتًا، وسد الفجوة، وبعد ذلك فقط قم بتوسيع الاستخدام.
استجابات أرضية من مصادر موثوقة عندما تكون الدقة مهمة.
استجابات أرضية من مصادر موثوقة عندما تكون الدقة مهمة. تعامل مع كل خطوة كبوابة دليل: إذا لم يتم استيفاء المعايير، قم بإيقاف التشغيل مؤقتًا، وسد الفجوة، وبعد ذلك فقط قم بتوسيع الاستخدام.
احتفظ بنقطة تفتيش للمراجعة البشرية للمخرجات عالية المخاطر.
احتفظ بنقطة تفتيش للمراجعة البشرية للمخرجات عالية المخاطر. تعامل مع كل خطوة كبوابة دليل: إذا لم يتم استيفاء المعايير، قم بإيقاف التشغيل مؤقتًا، وسد الفجوة، وبعد ذلك فقط قم بتوسيع الاستخدام.
تتبع أنماط الفشل وأعد تدريب المطالبات أو سير العمل بانتظام.
تتبع أنماط الفشل وأعد تدريب المطالبات أو سير العمل بانتظام. تعامل مع كل خطوة كبوابة دليل: إذا لم يتم استيفاء المعايير، قم بإيقاف التشغيل مؤقتًا، وسد الفجوة، وبعد ذلك فقط قم بتوسيع الاستخدام.