الشبكات العصبية المتكررة

They process data one step at a time while carrying a memory of what came before, making order and context matter.

على عكس الشبكة القياسية التي ترى جميع المدخلات في وقت واحد، تقرأ RNN التسلسل خطوة بخطوة، وتغذي مخرجاتها من الخطوة السابقة إلى نفسها. تخلق هذه الحلقة حالة مخفية، وهي عبارة عن ملخص مستمر لكل ما تمت مشاهدته حتى الآن، لذلك يمكن تفسير كلمة "بنك" بشكل مختلف بعد كلمة "نهر" عنها بعد كلمة "توفير". تعاني شبكات RNN البسيطة من التسلسلات الطويلة لأن التدرجات تتقلص أو تنفجر أثناء التدريب، مما يجعلها تنسى السياق البعيد. أصلحت المتغيرات المسورة هذا: تستخدم الذاكرة الطويلة قصيرة المدى (LSTM، 1997) والوحدة المتكررة المسورة (GRU) البوابات التي تقرر ما يجب الاحتفاظ به أو تحديثه أو التخلص منه، مما يسمح للشبكة بالاحتفاظ بالمعلومات عبر العديد من الخطوات. قامت شبكات RNN بدعم الترجمة الآلية المبكرة والتعرف على الكلام والنص التنبؤي قبل أن تحل محلها Transformers إلى حد كبير.