মাম্বা এবং সিলেক্টিভ স্টেট স্পেস কুইজ

আপনি কুইজ নেওয়ার সাথে সাথে উত্তর এবং ব্যাখ্যাগুলি উপস্থিত হয়।

1. একটি স্ট্যান্ডার্ড ট্রান্সফরমারের তুলনায় মাম্বার প্রধান গণনাগত সুবিধা কী?
   • এটি চতুর্ভুজের পরিবর্তে ক্রম দৈর্ঘ্যের সাথে রৈখিকভাবে স্কেল করে
   • এটা কোন প্রশিক্ষণ তথ্য প্রয়োজন
   • এটা শুধুমাত্র ইমেজ উপর কাজ করে
   • এটি যে কোনও লুকানো অবস্থার প্রয়োজনকে সরিয়ে দেয়
2. 'নির্বাচিত' শব্দটি মাম্বাতে কী বোঝায়?
   • এটি কোন GPU চালাতে হবে তা নির্বাচন করে
   • এর SSM প্যারামিটারগুলি ইনপুট টোকেনের উপর নির্ভর করে, তাই এটি কি মনে রাখতে বা ভুলে যেতে পারে তা বেছে নিতে পারে
   • এটি শুধুমাত্র বিশেষ্য এবং ক্রিয়াপদ নির্বাচন করে
   • এটি উপেক্ষা করার জন্য টোকেনগুলির একটি এলোমেলো উপসেট বেছে নেয়
3. কিভাবে একটি রাষ্ট্র স্পেস মডেল একটি ক্রম ইতিহাস প্রতিনিধিত্ব করে?
   • প্রতিটি পূর্ববর্তী টোকেন স্পষ্টভাবে সংরক্ষণ করে
   • সমস্ত জোড়ার উপর একটি মনোযোগ মানচিত্র অঙ্কন করে
   • ইতিহাসকে সংকুচিত করে একটি নির্দিষ্ট-আকারের লুকানো অবস্থায় ধাপে ধাপে আপডেট করা হয়েছে
   • এটা কোনো ইতিহাস রাখে না
4. কেন Mamba দ্রুত কনভোলিউশন শর্টকাট ব্যবহার করতে পারে না যা আগের SSMs ব্যবহার করা হয়েছিল?
   • কারণ জিপিইউতে কনভল্যুশন অবৈধ
   • কারণ এর কোনো প্যারামিটার নেই
   • কারণ এটি র্যান্ডম ক্রমে টোকেন প্রক্রিয়া করে
   • কারণ ইনপুট-নির্ভর পরামিতি তৈরি করা সময়-ইনভেরিয়েন্স কনভোলিউশনের প্রয়োজন হয়
5. কনভোলিউশন শর্টকাট হারানো সত্ত্বেও মাম্বা দ্রুত থাকার জন্য কোন কৌশল ব্যবহার করে?
   • দ্রুত GPU মেমরিতে রাখা একটি হার্ডওয়্যার-সচেতন সমান্তরাল স্ক্যান
   • সম্পূর্ণভাবে CPU-তে চলছে
   • সমস্ত টোকেন জোড়া ক্যাশে করা হচ্ছে
   • বেশিরভাগ সিকোয়েন্স এড়িয়ে যাওয়া
6. মাম্বা কে এবং মোটামুটি কবে পরিচয় করিয়ে দেন?
   • 2018 সালে OpenAI
   • 2023 সালের শেষের দিকে আলবার্ট গু এবং ট্রাই ডাও
   • 2015 সালে Google
   • কেউ না, এটা অনুমানমূলক
7. Which Mamba state-space parameters are made functions of the current input?
   • Only the fixed transition matrix A
   • The output vocabulary and tokenizer
   • B, C, and the step size delta
   • The attention query and key heads
8. What do the variable B, C, and delta parameters let Mamba do?
   • Build a growing key-value cache for every token
   • Route each token to an expert network only
   • Replace the state update with full all-pairs attention
   • Choose how much information to let into the state and how much to retain based on the input