স্টেট স্পেস মডেল এবং মাম্বা কুইজ

আপনি কুইজ নেওয়ার সাথে সাথে উত্তর এবং ব্যাখ্যাগুলি উপস্থিত হয়।

1. স্ট্যান্ডার্ড স্ব-মনোযোগের তুলনায় ক্রম দৈর্ঘ্য সহ একটি স্টেট স্পেস মডেল কীভাবে স্কেল করে?
   • রৈখিকভাবে, মনোযোগের চতুর্মুখী স্কেলিং বনাম
   • চতুর্মাত্রিকভাবে, মনোযোগের রৈখিক স্কেলিং বনাম
   • উভয় স্কেল অভিন্ন
   • উভয়ের জন্যই দ্রুতগতিতে
2. S4-এর মতো পূর্বের কাঠামোগত SSM-তে Mamba যোগ করা কেন্দ্রীয় উদ্ভাবন কী?
   • অভ্যন্তরীণভাবে softmax মনোযোগ ব্যবহার করে
   • স্টেট-আপডেট প্যারামিটার তৈরি করা ইনপুটের উপর নির্ভর করে (নির্বাচন)
   • লুকানো অবস্থা সম্পূর্ণরূপে অপসারণ
   • চতুর্মুখী-সময় গণনায় স্যুইচ করা হচ্ছে
3. কেন মাম্বা একটি কাস্টম হার্ডওয়্যার-সচেতন সমান্তরাল স্ক্যান প্রয়োজন ছিল?
   • কারণ জিপিইউ ম্যাট্রিক্স গুন করতে পারে না
   • স্তর সংখ্যা কমাতে
   • কারণ ইনপুট-নির্ভর পরামিতি তৈরি করা সহজ কনভল্যুশন ট্রিক ভেঙে দেয়
   • কারণ এটি কোন শেখা পরামিতি ব্যবহার করে না
4. অনুমানের সময়, মাম্বার মতো একটি এসএসএম-এর একটি মূল দক্ষতা সুবিধা হল যে এটি ব্যবহার করে:
   • মেমরি যা সম্পূর্ণ ক্রম দৈর্ঘ্যের সাথে বৃদ্ধি পায়, যেমন একটি কেভি ক্যাশ
   • কোনো স্মৃতি নেই
   • সমান আকারের একটি ট্রান্সফরমারের চেয়ে বেশি মেমরি
   • জেনারেটেড টোকেন প্রতি মোটামুটি ধ্রুবক মেমরি
5. ক্লাসিক স্ট্রাকচার্ড এসএসএমগুলিতে (নির্বাচনের আগে), পুনরাবৃত্তি দক্ষতার সাথে গণনা করা যেতে পারে কারণ এটি একটি হিসাবে পুনরায় লেখা যেতে পারে:
   • দীর্ঘ আবর্তন
   • সফটম্যাক্স অপারেশন
   • সিদ্ধান্ত গাছ
   • এলোমেলো বন
6. Which language-modeling corpus did the Mamba paper use in its standard autoregressive scaling experiments?
   • ImageNet-1K
   • গাদা
   • LibriSpeech only
   • D4RL
7. In the Mamba block, what operation combines the selective-SSM output with the other projected branch?
   • A nearest-neighbor lookup over audio frames
   • A cross-attention layer over image patches
   • An elementwise multiplicative interaction with a gated branch
   • A graph-degree normalization step
8. What language-modeling result does the Mamba paper report for its 3B model?
   • It requires a Transformer cache twice as large
   • It replaces the training corpus with audio only
   • It can be trained without any data
   • It matches Transformers twice its size in pretraining and downstream evaluation