সিকোয়েন্স থেকে সিকোয়েন্স মডেল

They introduced the encoder-decoder design and the attention mechanism that paved the way for the Transformer.

একটি সিকোয়েন্স-টু-সিকোয়েন্স (seq2seq) মডেলের দুটি অংশ রয়েছে: একটি এনকোডার যা ইনপুট ক্রমটি পড়ে এবং এর অর্থ সংকুচিত করে এবং একটি ডিকোডার যা একবারে একটি টোকেন আউটপুট সিকোয়েন্স তৈরি করে। Sutskever, Vinyals, এবং Le এর ল্যান্ডমার্ক 2014 এর কাজ মেশিন অনুবাদের জন্য স্ট্যাক করা LSTM ব্যবহার করেছে। একটি দুর্বলতা আবির্ভূত হয়েছে: একটি সম্পূর্ণ বাক্যকে একটি নির্দিষ্ট দৈর্ঘ্যের ভেক্টরে ঢেলে দেওয়া দীর্ঘ ইনপুটগুলির তথ্য হারিয়েছে। 2015 সালে Bahdanau মনোযোগ প্রবর্তন করে, ডিকোডারটিকে সমস্ত এনকোডার অবস্থার দিকে ফিরে তাকাতে এবং প্রতিটি আউটপুট শব্দের জন্য সবচেয়ে প্রাসঙ্গিকগুলির উপর ফোকাস করতে দেয়। এটি বাধার সমাধান করেছে এবং নাটকীয়ভাবে উন্নত অনুবাদ। ধারণাটি যেকোনো ইনপুট-টু-আউটপুট টেক্সট টাস্ককে সাধারণ করে এবং 2017 সালে ট্রান্সফরমারের সম্পূর্ণ স্ব-মনোযোগ আর্কিটেকচারকে সরাসরি অনুপ্রাণিত করে।