Κουίζ που συνδέεται με οδηγό · Σκληρό Επίπεδο

Κουίζ λανθάνουσας προσοχής πολλαπλών κεφαλών

Εξερευνήστε την κοινή λανθάνουσα κρυφή μνήμη του MLA, την ανακατασκευή χαμηλής κατάταξης, την απορρόφηση προβολής, τη διαδρομή κωδικοποίησης θέσης και την εξοικονόμηση μνήμης συμπερασμάτων.

Σχετικές διαδρομές οδηγώνΛανθάνουσα προσοχή πολλαπλών κεφαλών
Ερώτηση 1 του 8

Ποιο είναι το κύριο πρόβλημα που έχει σχεδιαστεί για τη μείωση της λανθάνουσας προσοχής πολλαπλών κεφαλών;

Προεπισκόπηση κάθε ερώτησης8 ερωτήσεις

Οι απαντήσεις και οι εξηγήσεις εμφανίζονται καθώς κάνετε το κουίζ.

  1. Ποιο είναι το κύριο πρόβλημα που έχει σχεδιαστεί για τη μείωση της λανθάνουσας προσοχής πολλαπλών κεφαλών;
    • Το κόστος μνήμης της κρυφής μνήμης κλειδιού-τιμής κατά την εξαγωγή συμπερασμάτων
    • Έλλειψη δεδομένων εκπαίδευσης
    • Ο αριθμός των παραμέτρων του μοντέλου
    • Μέγεθος λεξιλογίου Tokenizer
  2. Πώς το MLA συρρικνώνει την κρυφή μνήμη KV;
    • Διαγράφει παλαιότερα διακριτικά από την κρυφή μνήμη
    • Αποθηκεύει ένα μικρό λανθάνον διάνυσμα χαμηλής κατάταξης αντί για πλήρη κλειδιά και τιμές ανά κεφαλή
    • Χρησιμοποιεί βάρη 1 bit για τα πάντα
    • Παραλείπει εντελώς την προσοχή σε ορισμένα διακριτικά
  3. Ποιο μοντέλο παρουσίασε για πρώτη φορά το Multi-Head Latent Attention;
    • GPT-2
    • ΜΠΕΡΤ
    • DeepSeek-V2
    • LLaMA 1
  4. Γιατί το MLA χρειάζεται μια ξεχωριστή «αποσυνδεδεμένη» διαδρομή για ενσωματώσεις περιστροφικής θέσης;
    • Γιατί οι θέσεις είναι άσχετες με την προσοχή
    • Γιατί το RoPE διπλασιάζει το λεξιλόγιο
    • Επειδή επιταχύνει το optimizer
    • Επειδή η περιστροφή δεν μπορεί να διπλωθεί στην απορροφούμενη προς τα πάνω προεξοχή όπως το υπόλοιπο κλειδί
  5. Πόσο περίπου μείωση της μνήμης προσωρινής μνήμης KV ανέφερε το DeepSeek-V2 από το MLA έναντι της τυπικής προσοχής πολλαπλών κεφαλών;
    • Πάνω από 90%
    • Περίπου 5%
    • Ακριβώς 50%
    • Καμία μείωση, μόνο αύξηση ταχύτητας
  6. Ποιο πρακτικό όφελος προκύπτει άμεσα από τη μικρότερη κρυφή μνήμη ανά διακριτικό του MLA;
    • Εξάλειψη της ανάγκης για οποιαδήποτε GPU
    • Μεγαλύτερα μεγέθη παρτίδας συμπερασμάτων και μεγαλύτερα περιβάλλοντα στο ίδιο υλικό
    • Αυτόματη μετάφραση σε όλες τις γλώσσες
    • Αφαίρεση της λειτουργίας softmax
  7. What is the purpose of absorbing MLA up-projection weights into other projections?
    • Remove positional information from every token
    • Increase the size of the cached latent
    • Avoid materializing full per-head keys and values during inference
    • Replace attention with a recurrent network
  8. What positional information does MLA handle on a separate decoupled key path?
    • Class labels from the training data
    • Image segmentation maps
    • The output vocabulary probabilities
    • Rotary position embeddings that cannot be absorbed like the other key projections