Κουίζ Jamba Hybrid Transformer-Mamba Models

Οι απαντήσεις και οι εξηγήσεις εμφανίζονται καθώς κάνετε το κουίζ.

1. Ποιους δύο τύπους βασικών στρωμάτων παρεμβάλλει το Jamba;
   • Συνελικτικά και ομαδικά στρώματα
   • Επίπεδα RNN και CNN
   • Προσοχή μετασχηματιστή και στρώματα κατάστασης-διαστήματος Mamba
   • Επίπεδα διάχυσης και προσοχής
2. Ποια πρόσθετη τεχνική χρησιμοποιεί το Jamba για να αυξήσει τη χωρητικότητα διατηρώντας τις ενεργές παραμέτρους χαμηλές;
   • Μείγμα εμπειρογνωμόνων (MoE)
   • Απόσταξη γνώσης
   • Εκπαίδευση με επίγνωση της κβαντοποίησης
   • Ενίσχυση της μάθησης από την ανθρώπινη ανατροφοδότηση
3. How does a Mamba layer's recurrent representation differ from an attention layer's KV cache?
   • It removes every model parameter from memory
   • It skips all tokens beyond the first one
   • It stores an independent full copy of every earlier attention matrix
   • It maintains a fixed-size recurrent state instead of retaining a growing set of past keys and values
4. Ποιο παράθυρο περιβάλλοντος υποστήριξε το πρώτο μοντέλο Jamba;
   • 4Κ μάρκες
   • 256 χιλιάδες μάρκες
   • 32 χιλιάδες μάρκες
   • 8 εκατομμύρια μάρκες
5. What is a reason to retain attention components alongside state-space layers in a Jamba-style hybrid?
   • To combine different access and representation mechanisms while evaluating their quality-efficiency tradeoff
   • To guarantee perfect retrieval of every token on every task
   • To make all attention computation independent of sequence length
   • To eliminate the need for any model evaluation
6. How should Jamba's reported long-context memory benefit be evaluated for deployment?
   • Assume every 256K request fits any single GPU
   • Count only the recurrent state while ignoring weights and attention cache
   • Measure the actual model, precision, batch size, context, and hardware configuration
   • Treat every hybrid model as having zero sequence-state cost
7. Does original Jamba's use of many Mamba layers make the whole model's sequence memory constant as input length grows?
   • Yes; every hybrid attention cache has a fixed one-token size
   • No; its retained attention layers still store a growing KV cache
   • Yes; model weights disappear once the sequence becomes long
   • Only the tokenizer's file size changes
8. Why are total MoE parameters and active parameters per token different quantities in Jamba?
   • Every stored expert is necessarily deleted when inactive
   • A token must run all experts regardless of routing
   • The model's supported context directly sets its vocabulary size
   • Routing can activate only a subset of stored experts for each token