স্পার্স মনোযোগ নিদর্শন

This trades a little global reach for big savings in memory and compute on long sequences.

সম্পূর্ণ স্ব-মনোযোগ প্রতিটি টোকেনকে অন্য প্রতিটি টোকেনের সাথে তুলনা করে, তাই ক্রম দৈর্ঘ্যের বর্গক্ষেত্রের সাথে ব্যয় বৃদ্ধি পায়, যা দীর্ঘ নথির জন্য বেদনাদায়ক হয়ে ওঠে। স্পার্স মনোযোগ একটি কাঠামোগত এক সঙ্গে ঘন প্যাটার্ন প্রতিস্থাপন. সাধারণ ডিজাইনের মধ্যে রয়েছে স্লাইডিং-উইন্ডো (স্থানীয়) মনোযোগ, যেখানে প্রতিটি টোকেন শুধুমাত্র কাছাকাছি প্রতিবেশীদের দেখতে পায়; স্ট্রাইডেড বা প্রসারিত প্যাটার্ন যা দূরবর্তী প্রসঙ্গে সস্তায় পৌঁছানোর জন্য এগিয়ে যায়; এবং গ্লোবাল টোকেন, কিছু বিশেষ অবস্থান যা সবকিছুতে উপস্থিত থাকে এবং যে সবকিছুই তথ্য কেন্দ্র হিসেবে কাজ করে। লংফর্মার, বিগবার্ড, এবং স্পারস ট্রান্সফরমারের মতো মডেলগুলি এগুলিকে একত্রিত করে যাতে সংযোগের মোট সংখ্যা চতুর্ভুজের পরিবর্তে মোটামুটিভাবে রৈখিকভাবে বৃদ্ধি পায়, হাজার থেকে হাজার হাজার টোকেনের প্রসঙ্গ সক্ষম করে৷