ক্রস-মনোযোগ

It is how models connect what they are producing to what they read, powering translation, captioning, and modern multimodal systems.

স্ব-মনোযোগ একটি অনুক্রমের মধ্যে টোকেন একে অপরের সাথে সম্পর্কিত করতে দেয়; ক্রস-অ্যাটেনশন একটি ক্রম একটি ভিন্ন এক থেকে তথ্য আঁকতে দেয়। একটি ট্রান্সফরমার ডিকোডারে, প্রতিটি প্রজন্মের ধাপ আংশিকভাবে তৈরি আউটপুট থেকে প্রশ্ন তৈরি করে, যখন কী এবং মানগুলি এনকোডারের আউটপুট থেকে আসে। মডেলটি গণনা করে যে প্রতিটি ইনপুট উপাদান বর্তমান আউটপুট অবস্থানের সাথে কতটা প্রাসঙ্গিক এবং ইনপুট তথ্যের একটি ওজনযুক্ত মিশ্রণে টানে। এটিই একটি অনুবাদ ডিকোডারকে সঠিক উৎসের শব্দের উপর ফোকাস করতে দেয় কারণ এটি প্রতিটি টার্গেট শব্দ লেখে। টেক্সটের বাইরে, ক্রস-অ্যাটেনশন হল মাল্টিমোডাল মডেলের আঠা: একটি টেক্সট ডিকোডার ইমেজ প্যাচ বৈশিষ্ট্যগুলিতে যোগ দিতে পারে, বা একটি অডিও মডেল ট্রান্সক্রিপ্ট করা শব্দগুলির সাথে সাউন্ড সারিবদ্ধ করতে পারে। যখনই তথ্যের দুটি স্বতন্ত্র প্রবাহকে একত্রিত করার প্রয়োজন হয়, তখন ক্রস-অ্যাটেনশন সাধারণত সংযোগকারী টিস্যু হয়।