แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ

แบบทดสอบโมเดล Jamba Hybrid Transformer-Mamba

ตรวจสอบเลเยอร์ไฮบริดของ Jamba ดั้งเดิม การกำหนดเส้นทางแบบผสมผสานของผู้เชี่ยวชาญ สถานะที่เกิดซ้ำ การเติบโตของแคชความสนใจ และการประเมินบริบทแบบยาวเฉพาะภาระงาน

เส้นทางแนะนำที่เกี่ยวข้องรุ่น Jamba Hybrid Transformer Mamba
คำถาม 1 ของ 8

Jamba แทรกแซงเลเยอร์หลักสองประเภทใด

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. Jamba แทรกแซงเลเยอร์หลักสองประเภทใด
    • Convolutional และการรวมชั้น
    • เลเยอร์ RNN และ CNN
    • ความสนใจของหม้อแปลงไฟฟ้าและเลเยอร์พื้นที่รัฐของ Mamba
    • ชั้นการแพร่กระจายและความสนใจ
  2. Jamba ใช้เทคนิคเพิ่มเติมอะไรเพื่อเพิ่มความจุในขณะที่รักษาพารามิเตอร์ที่ใช้งานให้ต่ำ
    • ผู้เชี่ยวชาญแบบผสมผสาน (MoE)
    • การกลั่นกรองความรู้
    • การฝึกอบรมที่คำนึงถึงปริมาณ
    • การเรียนรู้การเสริมกำลังจากผลตอบรับของมนุษย์
  3. How does a Mamba layer's recurrent representation differ from an attention layer's KV cache?
    • It removes every model parameter from memory
    • It skips all tokens beyond the first one
    • It stores an independent full copy of every earlier attention matrix
    • It maintains a fixed-size recurrent state instead of retaining a growing set of past keys and values
  4. Jamba รุ่นแรกรองรับหน้าต่างบริบทใด
    • โทเค็น 4K
    • โทเค็น 256K
    • โทเค็น 32,000
    • 8 ล้านโทเค็น
  5. What is a reason to retain attention components alongside state-space layers in a Jamba-style hybrid?
    • To combine different access and representation mechanisms while evaluating their quality-efficiency tradeoff
    • To guarantee perfect retrieval of every token on every task
    • To make all attention computation independent of sequence length
    • To eliminate the need for any model evaluation
  6. How should Jamba's reported long-context memory benefit be evaluated for deployment?
    • Assume every 256K request fits any single GPU
    • Count only the recurrent state while ignoring weights and attention cache
    • Measure the actual model, precision, batch size, context, and hardware configuration
    • Treat every hybrid model as having zero sequence-state cost
  7. Does original Jamba's use of many Mamba layers make the whole model's sequence memory constant as input length grows?
    • Yes; every hybrid attention cache has a fixed one-token size
    • No; its retained attention layers still store a growing KV cache
    • Yes; model weights disappear once the sequence becomes long
    • Only the tokenizer's file size changes
  8. Why are total MoE parameters and active parameters per token different quantities in Jamba?
    • Every stored expert is necessarily deleted when inactive
    • A token must run all experts regardless of routing
    • The model's supported context directly sets its vocabulary size
    • Routing can activate only a subset of stored experts for each token