แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ
แบบทดสอบโมเดล Jamba Hybrid Transformer-Mamba
ตรวจสอบเลเยอร์ไฮบริดของ Jamba ดั้งเดิม การกำหนดเส้นทางแบบผสมผสานของผู้เชี่ยวชาญ สถานะที่เกิดซ้ำ การเติบโตของแคชความสนใจ และการประเมินบริบทแบบยาวเฉพาะภาระงาน
คำถาม 1 ของ 8
Jamba แทรกแซงเลเยอร์หลักสองประเภทใด
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- Jamba แทรกแซงเลเยอร์หลักสองประเภทใด
- Convolutional และการรวมชั้น
- เลเยอร์ RNN และ CNN
- ความสนใจของหม้อแปลงไฟฟ้าและเลเยอร์พื้นที่รัฐของ Mamba
- ชั้นการแพร่กระจายและความสนใจ
- Jamba ใช้เทคนิคเพิ่มเติมอะไรเพื่อเพิ่มความจุในขณะที่รักษาพารามิเตอร์ที่ใช้งานให้ต่ำ
- ผู้เชี่ยวชาญแบบผสมผสาน (MoE)
- การกลั่นกรองความรู้
- การฝึกอบรมที่คำนึงถึงปริมาณ
- การเรียนรู้การเสริมกำลังจากผลตอบรับของมนุษย์
- How does a Mamba layer's recurrent representation differ from an attention layer's KV cache?
- It removes every model parameter from memory
- It skips all tokens beyond the first one
- It stores an independent full copy of every earlier attention matrix
- It maintains a fixed-size recurrent state instead of retaining a growing set of past keys and values
- Jamba รุ่นแรกรองรับหน้าต่างบริบทใด
- โทเค็น 4K
- โทเค็น 256K
- โทเค็น 32,000
- 8 ล้านโทเค็น
- What is a reason to retain attention components alongside state-space layers in a Jamba-style hybrid?
- To combine different access and representation mechanisms while evaluating their quality-efficiency tradeoff
- To guarantee perfect retrieval of every token on every task
- To make all attention computation independent of sequence length
- To eliminate the need for any model evaluation
- How should Jamba's reported long-context memory benefit be evaluated for deployment?
- Assume every 256K request fits any single GPU
- Count only the recurrent state while ignoring weights and attention cache
- Measure the actual model, precision, batch size, context, and hardware configuration
- Treat every hybrid model as having zero sequence-state cost
- Does original Jamba's use of many Mamba layers make the whole model's sequence memory constant as input length grows?
- Yes; every hybrid attention cache has a fixed one-token size
- No; its retained attention layers still store a growing KV cache
- Yes; model weights disappear once the sequence becomes long
- Only the tokenizer's file size changes
- Why are total MoE parameters and active parameters per token different quantities in Jamba?
- Every stored expert is necessarily deleted when inactive
- A token must run all experts regardless of routing
- The model's supported context directly sets its vocabulary size
- Routing can activate only a subset of stored experts for each token