স্পারস অ্যাটেনশন প্যাটার্নস কুইজ

আপনি কুইজ নেওয়ার সাথে সাথে উত্তর এবং ব্যাখ্যাগুলি উপস্থিত হয়।

1. দীর্ঘ সিকোয়েন্সে পূর্ণ আত্ম-মনোযোগ ব্যয়বহুল কেন?
   • এর খরচ ক্রম দৈর্ঘ্যের বর্গক্ষেত্রের সাথে বৃদ্ধি পায়
   • এটি GPU ব্যবহার করতে পারে না
   • এটি শুধুমাত্র সংক্ষিপ্ত শব্দের উপর কাজ করে
   • এর জন্য কোনো স্মৃতির প্রয়োজন নেই
2. স্লাইডিং-উইন্ডো (স্থানীয়) মনোযোগ কি?
   • প্রতিটি টোকেন একটি এলোমেলো ডাটাবেসে উপস্থিত থাকে
   • প্রতিটি টোকেন শুধুমাত্র তার আশেপাশের প্রতিবেশীদের জন্য উপস্থিত হয়
   • টোকেনগুলি কখনই কিছুতে উপস্থিত হয় না
   • প্রতিটি টোকেন সমস্ত টোকেনে দুবার উপস্থিত হয়
3. বিরল মনোযোগে 'গ্লোবাল টোকেন' এর উদ্দেশ্য কী?
   • মডেলটি ধীর করার জন্য
   • ছবি সংরক্ষণ করতে
   • হাব হিসাবে কাজ করা যা সমস্ত কিছুতে উপস্থিত থাকে এবং যে সমস্ত কিছুতে উপস্থিত থাকে
   • শব্দভান্ডার প্রতিস্থাপন করতে
4. কোন মডেলটি প্রমাণ করেছে যে র্যান্ডম, উইন্ডো এবং বিশ্বব্যাপী মনোযোগ একত্রিত করা পূর্ণ মনোযোগের অভিব্যক্তি রাখে?
   • ResNet
   • Word2Vec
   • অ্যালেক্সনেট
   • বিগবার্ড
5. মোটামুটিভাবে কীভাবে সংযোগের সংখ্যা ভালভাবে ডিজাইন করা স্পার্স মনোযোগে স্কেল করে?
   • ক্রম দৈর্ঘ্যের সাথে মোটামুটি রৈখিকভাবে
   • ক্রম দৈর্ঘ্য সহ চতুর্ভুজ
   • এটি দৈর্ঘ্যের উপর নির্ভর করে না
   • ক্রমবর্ধমান দৈর্ঘ্য সহ
6. What do strided or dilated sparse-attention patterns allow?
   • তাদের গণনা করে এবং তারপর তাদের শূন্যে সেট করে
   • Skip ahead to reach distant context with fewer attention links
   • তাদের অন্য সার্ভারে পাঠায়
   • তাদের স্থায়ীভাবে সংরক্ষণ করে
7. How does Longformer combine local and global attention?
   • Every token attends to every other token
   • Only random edges are allowed
   • Most tokens use a sliding local window, while selected global tokens connect across the sequence
   • Each token attends only to the final token
8. What is the goal of learned, content-based sparse attention?
   • A full dense connection to every token
   • A rule for removing all future tokens
   • A learned vocabulary for each attention head
   • Avoid spending attention compute and memory on content unrelated to the current query