বারবার নিউরাল নেটওয়ার্ক

তারা আগে কী এসেছিল তার স্মৃতি বহন করার সময় একবারে এক ধাপে ডেটা প্রক্রিয়া করে, শৃঙ্খলা এবং প্রসঙ্গকে গুরুত্বপূর্ণ করে তোলে।

একটি স্ট্যান্ডার্ড নেটওয়ার্কের বিপরীতে যেটি একবারে সমস্ত ইনপুট দেখে, একটি আরএনএন ধাপে ধাপে একটি ক্রম পড়ে, আগের ধাপ থেকে নিজের আউটপুটকে নিজের মধ্যে ফিরিয়ে দেয়। এই লুপটি একটি লুকানো অবস্থা তৈরি করে, এখন পর্যন্ত দেখা সমস্ত কিছুর একটি চলমান সারাংশ, তাই "ব্যাঙ্ক" শব্দটিকে "সঞ্চয়" এর পরে "নদী" এর পরে ভিন্নভাবে ব্যাখ্যা করা যেতে পারে। প্লেইন আরএনএনগুলি দীর্ঘ ক্রমগুলির সাথে লড়াই করে কারণ প্রশিক্ষণের সময় গ্রেডিয়েন্টগুলি সঙ্কুচিত হয় বা বিস্ফোরিত হয়, যার ফলে তারা দূরবর্তী প্রসঙ্গ ভুলে যায়। গেটেড ভেরিয়েন্টগুলি এটি ঠিক করেছে: লং শর্ট-টার্ম মেমোরি (LSTM, 1997) এবং সহজতর Gated Recurrent Unit (GRU) গেটগুলি ব্যবহার করে যা ঠিক করে যে কী রাখতে হবে, আপডেট করতে হবে বা বাতিল করতে হবে, নেটওয়ার্কটিকে অনেকগুলি ধাপে তথ্য ধরে রাখতে দেয়৷ ট্রান্সফরমাররা মূলত তাদের প্রতিস্থাপন করার আগে RNN প্রাথমিক মেশিন অনুবাদ, বক্তৃতা স্বীকৃতি, এবং ভবিষ্যদ্বাণীমূলক পাঠ্য চালিত করে।