কি মনোযোগ মেকানিজম?

একটি মডেলের উপাদান যা ইনপুটকে সুপ্ত উপস্থাপনায় রূপান্তরিত করে।

একটি ট্রান্সফরমার মেকানিজম যা বিভিন্ন ধরণের সম্পর্ক ক্যাপচার করার জন্য সমান্তরালভাবে বেশ কয়েকটি মনোযোগ ক্রিয়াকলাপ চালায়।

একটি অবস্থানগত পক্ষপাত পদ্ধতি যা টোকেন দূরত্বের উপর ভিত্তি করে মনোযোগের স্কোরকে শাস্তি দেয়, মডেলগুলিকে দীর্ঘ প্রেক্ষাপটে এক্সট্রাপোলেট করতে সহায়তা করে।

একটি টাস্ক যেখানে একটি মডেল এক বা একাধিক পূর্বনির্ধারিত বিভাগে একটি ইনপুট বরাদ্দ করে৷

সর্বাধিক পরিমাণ ইনপুট টোকেন একটি ভাষা মডেল একবারে প্রক্রিয়া করতে পারে৷

সময়ের সাথে সাথে বাস্তব-বিশ্বের ইনপুট ডেটাতে একটি পরিবর্তন যা মডেলের কার্যকারিতা হ্রাস করতে পারে।