Κερδοσκοπική Αποκωδικοποίηση με Κουίζ EAGLE

Οι απαντήσεις και οι εξηγήσεις εμφανίζονται καθώς κάνετε το κουίζ.

1. Ποια είναι η βασική ιδέα πίσω από την κερδοσκοπική αποκωδικοποίηση;
   • Ένας φτηνός συντάκτης προτείνει πολλαπλά διακριτικά που το μεγάλο μοντέλο επαληθεύει σε ένα παράλληλο πέρασμα
   • Συμπίεση των βαρών του μοντέλου στη μισή ακρίβεια
   • Τυχαία παράκαμψη επιπέδων του δικτύου
   • Αποθήκευση κάθε πιθανής πρότασης εξόδου εκ των προτέρων
2. Πώς διαφέρει το EAGLE από προηγούμενες κερδοσκοπικές προσεγγίσεις αποκωδικοποίησης;
   • Καταργεί εντελώς το βήμα επαλήθευσης
   • Σχεδιάζεται στον χώρο κρυφών χαρακτηριστικών του μοντέλου και όχι απευθείας σε επίπεδο διακριτικού
   • Χρησιμοποιεί ένα εντελώς ξεχωριστό, μεγαλύτερο μοντέλο ως συντάκτη
   • Λειτουργεί μόνο για δημιουργία εικόνων
3. Why is speculative decoding considered lossless when implemented with exact verification?
   • Every draft token is accepted unconditionally
   • The drafter always predicts the target’s next token
   • The acceptance and correction procedure preserves the target model’s output distribution
   • The target model is never evaluated
4. Ποιο πρόβλημα στη σύνταξη χαρακτηριστικών του EAGLE βοηθά στην επίλυση της ανατροφοδότησης της ενσωμάτωσης του προηγούμενου διακριτικού;
   • Κατακερματισμός μνήμης στη GPU
   • Αναντιστοιχία Tokenizer μεταξύ των γλωσσών
   • Υπερθέρμανση του υλικού
   • Η αβεβαιότητα/ασάφεια της πρόβλεψης του επόμενου χαρακτηριστικού
5. Τι πρόσθεσε το EAGLE-2 στο αρχικό EAGLE;
   • Ένα δυναμικό σχέδιο δέντρου που προσαρμόζει τον αριθμό των υποψηφίων που θα προτείνουν
   • Ένα σταθερό βύθισμα ενός συμβολικού
   • Αφαίρεση της κεφαλής LM
   • Εκπαίδευση μόνο με διπλάσια δεδομένα
6. Γιατί η αυτοπαλινδρομική συμφόρηση καθιστά την απλή παραγωγή LLM αργή;
   • Το μοντέλο επανεκπαιδεύεται μετά από κάθε διακριτικό
   • Κάθε νέο διακριτικό χρειάζεται ένα πλήρες πέρασμα προς τα εμπρός μέσω δισεκατομμυρίων παραμέτρων πριν ξεκινήσει το επόμενο
   • Τα διακριτικά αποθηκεύονται στο δίσκο μεταξύ των βημάτων
   • Η GPU πρέπει να κάνει επανεκκίνηση ανά διακριτικό
7. After EAGLE predicts a hidden-state feature, which component turns that feature into candidate token probabilities?
   • The tokenizer’s vocabulary file alone
   • The optimizer’s momentum buffer
   • The target model’s language-model head
   • The KV-cache allocator
8. What change does EAGLE-3 make to the original feature-drafting constraint?
   • It replaces the target model with a tokenizer
   • It disables target verification
   • It requires a separate human drafter
   • It removes a feature-prediction constraint to improve scaling