ব্লক-স্পার্স এবং নেটিভ স্পারস অ্যাটেনশন কুইজ

আপনি কুইজ নেওয়ার সাথে সাথে উত্তর এবং ব্যাখ্যাগুলি উপস্থিত হয়।

1. কেন দীর্ঘ ক্রমগুলির জন্য মানক স্ব-মনোযোগ ব্যয়বহুল?
   • এর খরচ ক্রম দৈর্ঘ্যের সাথে চতুর্মুখীভাবে বৃদ্ধি পায়
   • এটি খুব কম প্যারামিটার ব্যবহার করে
   • এটি GPU তে চলতে পারে না
   • এটি শুধুমাত্র প্রথম টোকেনে উপস্থিত হয়
2. ব্লক-স্পার্স মনোযোগের মূল ধারণা কী?
   • ফিড-ফরোয়ার্ড স্তরগুলি সরানো হচ্ছে
   • শুধুমাত্র টোকেনের নির্বাচিত ব্লকগুলির মধ্যে গণনা মনোযোগ
   • শুধুমাত্র একটি মনোযোগ মাথা ব্যবহার করে
   • এমবেডিং মাত্রা দ্বিগুণ করা
3. কি নেটিভ স্পারস অ্যাটেনশন (NSA) কে অনেক আগের স্পারস পদ্ধতি থেকে আলাদা করে তোলে?
   • এটি মনোযোগ সম্পূর্ণভাবে সরিয়ে দেয়
   • এটি শুধুমাত্র অনুমানের সময় কাজ করে
   • এটি প্রশিক্ষনযোগ্য এন্ড-টু-এন্ড এবং হার্ডওয়্যার-সারিবদ্ধ
   • এর জন্য কোন GPU লাগবে না
4. NSA তার কী এবং মানগুলির জন্য কোন তিনটি শাখাকে একত্রিত করে?
   • এনকোডার, ডিকোডার এবং এম্বেডিং
   • ড্রপআউট, স্বাভাবিককরণ, এবং পুলিং
   • কোয়ান্টাইজেশন, ছাঁটাই, এবং পাতন
   • কম্প্রেশন, নির্বাচন, এবং একটি স্লাইডিং উইন্ডো
5. কেন এনএসএ নির্বিচারে টোকেন-স্তরের স্পার্সিটির পরিবর্তে ব্লক-লেভেল অপারেশন ব্যবহার করে?
   • বাস্তব গতির জন্য GPU মেমরি অ্যাক্সেস এবং টেনসর-কোর থ্রুপুটের সাথে সারিবদ্ধ করতে
   • মডেল বড় করতে
   • মনোযোগ ব্যবহার এড়াতে
   • স্তর সংখ্যা কমাতে
6. অটোরিগ্রেসিভ ডিকোডিংয়ের সময়, স্পার্স মনোযোগ বিশেষভাবে সহায়ক কারণ সেই পদক্ষেপটি প্রায়শই:
   • ম্যাট্রিক্স গুনতে কম্পিউট-বাউন্ড
   • মেমরি-বাউন্ড, তাই অ্যাটেন্ডেড টোকেন কমিয়ে দিলে এটির গতি বাড়ে
   • ক্রম দৈর্ঘ্য স্বাধীন
   • শুধুমাত্র CPU-তে চালান
7. What information does NSA’s compression branch provide to the attention computation?
   • A full dense score for every token pair
   • Only the optimizer’s first moment
   • Coarse-grained summaries of blocks of tokens
   • A random subset of output labels
8. Why can learned sparsity patterns be more useful than a fixed arbitrary mask?
   • They remove the need to compute attention scores
   • They guarantee zero memory use
   • They force every token to attend globally
   • They can select blocks relevant to the input while remaining aligned with efficient hardware operations