ট্রান্সফরমার

মনোযোগ গণনা করে যে একটি অবস্থানের অন্য অবস্থান থেকে কত তথ্য নেওয়া উচিত। একটি সাধারণ সূত্রে, শেখা অনুমানগুলি প্রশ্ন, কী এবং মান তৈরি করে। ক্যোয়ারী-কী তুলনা মানগুলিকে একত্রিত করতে ব্যবহৃত ওজন নির্ধারণ করে। একাধিক মনোযোগের মাথা একটি স্তরের মধ্যে এই জাতীয় একাধিক সংমিশ্রণের অনুমতি দেয়। একটি ট্রান্সফরমার স্তর অন্যান্য ক্রিয়াকলাপও অন্তর্ভুক্ত করে, যেমন একটি ফিড-ফরোয়ার্ড নেটওয়ার্ক, স্বাভাবিককরণ এবং অবশিষ্ট সংযোগ। অবস্থানের তথ্য প্রয়োজন কারণ শব্দের ক্রম বা অন্যান্য ক্রম উপাদান গুরুত্বপূর্ণ। তারা কিভাবে অবস্থান প্রতিনিধিত্ব করে এবং এই ক্রিয়াকলাপগুলিকে সাজায় তার মধ্যে নির্দিষ্ট বাস্তবায়ন ভিন্ন হয়। মূল 2017 ট্রান্সফরমার অনুবাদের জন্য একটি এনকোডার-ডিকোডার ডিজাইন ব্যবহার করেছে। পরবর্তী মডেলগুলি বিভিন্ন উদ্দেশ্যের জন্য শুধুমাত্র এনকোডার, শুধুমাত্র ডিকোডার বা এনকোডার-ডিকোডার ব্যবস্থা ব্যবহার করে। একটি কার্যকারণ ভাষা মডেল পরবর্তী-টোকেন পূর্বাভাসের সময় ভবিষ্যতের টোকেনগুলিতে উপস্থিত হতে একটি অবস্থানকে বাধা দেয়। যে সীমাবদ্ধতা একটি সম্পূর্ণ ইনপুট দ্বিমুখী প্রক্রিয়াকরণ থেকে পৃথক. দীর্ঘ অনুক্রমের উপর মনোযোগ গণনাগতভাবে ব্যয়বহুল হতে পারে। ব্যবহারিক সিস্টেমগুলি বিভিন্ন অপ্টিমাইজেশান ব্যবহার করে, কিন্তু একটি বিজ্ঞাপিত প্রসঙ্গ সীমা প্রমাণ করে না যে মডেলটি একটি দীর্ঘ নথির প্রতিটি অংশ নির্ভরযোগ্যভাবে ব্যবহার করে। পরীক্ষা পুনরুদ্ধার, যুক্তি, এবং নির্দেশ অনুসরণ করে প্রকৃত দৈর্ঘ্য আপনার আবেদন প্রয়োজন.