গাইড লিঙ্ক ক্যুইজ · মাঝারি স্তর
জাম্বা হাইব্রিড ট্রান্সফরমার-মাম্বা মডেল কুইজ
মূল জাম্বা হাইব্রিড স্তরগুলি, বিশেষজ্ঞদের রাউটিং-এর মিশ্রণ, পুনরাবৃত্ত অবস্থা, মনোযোগ ক্যাশে বৃদ্ধি এবং কাজের চাপ-নির্দিষ্ট দীর্ঘ-প্রসঙ্গ মূল্যায়ন পর্যালোচনা করুন।
প্রশ্ন 1 এর 8
জাম্বা ইন্টারলিভ করে কোন দুটি কোর লেয়ার প্রকার?
প্রতিটি প্রশ্নের পূর্বরূপ দেখুন8 প্রশ্ন
আপনি কুইজ নেওয়ার সাথে সাথে উত্তর এবং ব্যাখ্যাগুলি উপস্থিত হয়।
- জাম্বা ইন্টারলিভ করে কোন দুটি কোর লেয়ার প্রকার?
- কনভোল্যুশনাল এবং পুলিং লেয়ার
- আরএনএন এবং সিএনএন স্তর
- ট্রান্সফরমার মনোযোগ এবং Mamba রাষ্ট্র-স্পেস স্তর
- বিস্তার এবং মনোযোগ স্তর
- সক্রিয় পরামিতি কম রাখার সময় ক্ষমতা বাড়াতে জাম্বা কোন অতিরিক্ত কৌশল ব্যবহার করে?
- বিশেষজ্ঞদের মিশ্রণ (MoE)
- জ্ঞান পাতন
- পরিমাপ-সচেতন প্রশিক্ষণ
- মানুষের প্রতিক্রিয়া থেকে শক্তিবৃদ্ধি শিক্ষা
- How does a Mamba layer's recurrent representation differ from an attention layer's KV cache?
- It removes every model parameter from memory
- It skips all tokens beyond the first one
- It stores an independent full copy of every earlier attention matrix
- It maintains a fixed-size recurrent state instead of retaining a growing set of past keys and values
- প্রথম জাম্বা মডেলটি কোন প্রসঙ্গ উইন্ডো সমর্থন করেছিল?
- 4K টোকেন
- 256K টোকেন
- 32K টোকেন
- 8 মিলিয়ন টোকেন
- What is a reason to retain attention components alongside state-space layers in a Jamba-style hybrid?
- To combine different access and representation mechanisms while evaluating their quality-efficiency tradeoff
- To guarantee perfect retrieval of every token on every task
- To make all attention computation independent of sequence length
- To eliminate the need for any model evaluation
- How should Jamba's reported long-context memory benefit be evaluated for deployment?
- Assume every 256K request fits any single GPU
- Count only the recurrent state while ignoring weights and attention cache
- Measure the actual model, precision, batch size, context, and hardware configuration
- Treat every hybrid model as having zero sequence-state cost
- Does original Jamba's use of many Mamba layers make the whole model's sequence memory constant as input length grows?
- Yes; every hybrid attention cache has a fixed one-token size
- No; its retained attention layers still store a growing KV cache
- Yes; model weights disappear once the sequence becomes long
- Only the tokenizer's file size changes
- Why are total MoE parameters and active parameters per token different quantities in Jamba?
- Every stored expert is necessarily deleted when inactive
- A token must run all experts regardless of routing
- The model's supported context directly sets its vocabulary size
- Routing can activate only a subset of stored experts for each token