Κουίζ που συνδέεται με οδηγό · Μεσαίο Επίπεδο

Κουίζ Medusa Decoding Heads

Εξετάστε τις κεφαλές πρόβλεψης πολλαπλών σημείων της Medusa, τα υποψήφια δέντρα, την επαλήθευση της προσοχής στο δέντρο, την αποδοχή του μεγαλύτερου προθέματος και τη διατήρηση της διανομής.

Σχετικές διαδρομές οδηγώνΚεφαλές αποκωδικοποίησης Medusa
Ερώτηση 1 του 8

Τι προβλέπουν τα επιπλέον κεφάλια της Μέδουσας;

Προεπισκόπηση κάθε ερώτησης8 ερωτήσεις

Οι απαντήσεις και οι εξηγήσεις εμφανίζονται καθώς κάνετε το κουίζ.

  1. Τι προβλέπουν τα επιπλέον κεφάλια της Μέδουσας;
    • Πολλαπλά μελλοντικά διακριτικά σε διαφορετικές θέσεις μπροστά
    • Η απώλεια προπόνησης του μοντέλου
    • Ποια GPU να χρησιμοποιήσετε
    • Η λεζάντα της εικόνας για ένα διακριτικό
  2. Under which Medusa configuration does the paper describe lossless inference acceleration?
    • Συμπιέζει τέλεια τα βάρη του μοντέλου
    • Medusa-1 with a frozen backbone and exact verification against the original model
    • Δεν κάνει ποτέ λάθη στη γραμματική
    • Καταργεί την ανάγκη για λεξιλόγιο
  3. Σε ποια δομή είναι οργανωμένες οι υποψήφιες συνέχειες της Μέδουσας για επαλήθευση;
    • Μια επίπεδη λίστα βαθμολογημένη μία προς μία
    • Ένας πίνακας κατακερματισμού
    • Ένα δέντρο σημειώθηκε σε ένα πέρασμα με μάσκα προσοχής δέντρου
    • Ένας επαναλαμβανόμενος βρόχος πάνω από κάθε διακριτικό
  4. Ποιο είναι το βασικό πλεονέκτημα της Medusa σε σχέση με την κερδοσκοπική αποκωδικοποίηση προσχεδίου;
    • Απαιτεί δύο ξεχωριστά μεγάλα μοντέλα
    • Λειτουργεί μόνο σε εικόνες
    • Διαγράφει το βασικό μοντέλο μετά τη χρήση
    • Αποφεύγει να χρειάζεται ξεχωριστό πρόχειρο μοντέλο προσθέτοντας κεφαλές στο υπάρχον
  5. Τι επιτάχυνση αναφέρει συνήθως η Medusa;
    • Περίπου 2-3 φορές
    • Περίπου 0,5x (πιο αργό)
    • Ακριβώς 100x
    • Καμία μετρήσιμη αλλαγή
  6. Ποιο είναι αρχιτεκτονικά κάθε μεμονωμένο κεφάλι της Μέδουσας;
    • Ένας πλήρης διπλότυπος μετασχηματιστής
    • Ένα μικρό υπολειπόμενο στρώμα τροφοδοσίας (MLP) στην κορυφή της κρυφής κατάστασης βάσης
    • Ένας συνελικτικός κωδικοποιητής εικόνας
    • Ένα ξεχωριστό tokenizer
  7. What does Medusa accept from a verified candidate tree?
    • Every speculative branch regardless of verification
    • Only the shortest candidate token
    • The longest prefix consistent with the base model’s decoding result
    • A random leaf from the tree
  8. How do Medusa’s prediction-head offsets differ?
    • Every head predicts the same next token
    • Each head predicts a different vocabulary
    • The heads predict tokens only after decoding is complete
    • Each head predicts a token at a different position ahead in the sequence