Κουίζ κερδοσκοπικής αποκωδικοποίησης

Οι απαντήσεις και οι εξηγήσεις εμφανίζονται καθώς κάνετε το κουίζ.

1. How does speculative decoding speed up generation from a large model?
   • Ένα μικρό πρόχειρο μοντέλο μαντεύει πολλά διακριτικά που το μεγάλο μοντέλο επαληθεύει παράλληλα
   • Μόνιμη συμπίεση του μοντέλου στο μισό του μέγεθός του
   • Αφαίρεση του μηχανισμού προσοχής
   • Εκπαίδευση του μοντέλου σε περισσότερα δεδομένα
2. For a large model at low batch size, why can one-token autoregressive decoding be slow?
   • Each token requires internet access
   • Repeated reads of large model weights can make decoding memory-bandwidth bound
   • The model permanently stores a full copy of every possible output
   • The tokenizer performs the model’s matrix multiplications
3. In greedy speculative decoding, what happens at the first token where draft and target predictions disagree?
   • The whole conversation is thrown away and restarted from scratch
   • Το πρόχειρο μοντέλο επανεκπαιδεύεται άμεσα
   • The matching prefix is kept, the target token is used at the mismatch, and later draft tokens are discarded
   • Η ποιότητα εξόδου υποβαθμίζεται μόνιμα
4. Under exact speculative sampling, how does the output distribution compare with sampling from the target model alone?
   • It is always lower quality but faster
   • It is identical only when the draft model is larger
   • It becomes deterministic regardless of target sampling
   • It is identical in distribution
5. Τι καθορίζει πιο άμεσα την επιτάχυνση από την κερδοσκοπική αποκωδικοποίηση;
   • Το ποσοστό αποδοχής των εικασιών του σχεδίου μοντέλου
   • Το χρώμα της GPU
   • Το μήκος του ονόματος του μοντέλου
   • Η ώρα της ημέρας
6. Τι κοινό έχουν η Μέδουσα και ο EAGLE ως προσεγγίσεις;
   • Απαιτούν κβαντικό υλικό
   • Εξαλείφουν την ανάγκη για ένα ξεχωριστό αυτόνομο πρόχειρο μοντέλο
   • Διαγράφουν το μοντέλο-στόχο
   • Λειτουργούν μόνο σε εικόνες
7. What should a serving team measure before claiming speculative decoding will speed up its workload?
   • Only the target model’s parameter count
   • Only whether the draft produces fluent text
   • Draft cost, target verification cost, accepted tokens and end-to-end latency under representative traffic
   • The number of tokenizer files
8. In exact speculative sampling, what happens when a proposed token is rejected?
   • The whole conversation is discarded
   • The target model is permanently changed
   • The rejected token is kept without verification
   • A correction step samples from the distribution needed to preserve the target model’s output distribution