ریکرنٹ نیورل نیٹ ورکس

They process data one step at a time while carrying a memory of what came before, making order and context matter.

ایک معیاری نیٹ ورک کے برعکس جو تمام ان پٹس کو ایک ساتھ دیکھتا ہے، ایک RNN مرحلہ وار ترتیب پڑھتا ہے، پچھلے مرحلے سے اپنے آؤٹ پٹ کو خود میں واپس کرتا ہے۔ یہ لوپ ایک پوشیدہ حالت پیدا کرتا ہے، جو اب تک دیکھی گئی ہر چیز کا خلاصہ ہے، اس لیے لفظ "بینک" کو "بچت" کے بعد "دریا" کے بعد مختلف طریقے سے سمجھا جا سکتا ہے۔ سادہ RNN طویل سلسلے کے ساتھ جدوجہد کرتے ہیں کیونکہ تربیت کے دوران گریڈیئنٹس سکڑ جاتے ہیں یا پھٹ جاتے ہیں، جس کی وجہ سے وہ دور کے سیاق و سباق کو بھول جاتے ہیں۔ گیٹڈ ویریئنٹس نے اس کو ٹھیک کیا: لانگ شارٹ ٹرم میموری (LSTM، 1997) اور آسان گیٹڈ ریکرنٹ یونٹ (GRU) ایسے گیٹس کا استعمال کرتے ہیں جو فیصلہ کرتے ہیں کہ کیا رکھنا ہے، اپ ڈیٹ کرنا ہے یا رد کرنا ہے، جس سے نیٹ ورک کو کئی مراحل میں معلومات کو برقرار رکھنے دیتا ہے۔ ٹرانسفارمرز نے بڑے پیمانے پر ان کی جگہ لینے سے پہلے RNNs نے ابتدائی مشینی ترجمہ، تقریر کی شناخت، اور پیش گوئی کرنے والے متن کو تقویت دی۔