التلاشي وانفجار التدرجات

عند تدريب الشبكات العميقة، تتقلص إشارات الخطأ نحو الصفر أو تنفجر نحو اللانهاية أثناء انتقالها للخلف عبر العديد من الطبقات. وهذا يجعل النماذج العميقة والمتكررة بطيئة للغاية أو مستحيلة التدريب دون إصلاحات محددة.

يطبق الانتشار العكسي قاعدة السلسلة، بضرب العديد من عوامل كل طبقة معًا؛ تختفي المنتجات ذات القيم الأقل من 1 وتنفجر المنتجات التي تزيد عن 1.

يصل مشتق السيني إلى ذروته عند 0.25 وتانه عند 1؛ وفي المناطق المشبعة يقترب كلاهما من الصفر، لذا فإن تكديسهما يدفع التدرجات نحو الصفر.

تعيد RNN تطبيق نفس مصفوفة الوزن المتكررة في كل خطوة زمنية، لذلك على مدى تسلسل طويل، يتم رفع مركبات التأثير مثل القيمة الذاتية لتلك المصفوفة إلى طول التسلسل.

تنتج التدرجات المتفجرة تحديثات هائلة تفيض إلى اللانهاية أو NaN؛ بدلاً من ذلك، يؤدي تلاشي التدرجات إلى توقف الخسارة.

يؤدي تخطي الاتصالات إلى إضافة مسار هوية حتى تتمكن التدرجات من التدفق للخلف دون أن يتم تخفيفها بشكل متكرر بواسطة الطبقات المتوسطة.