Κουίζ βελτιστοποίησης προσωρινής μνήμης KV

Οι απαντήσεις και οι εξηγήσεις εμφανίζονται καθώς κάνετε το κουίζ.

1. Τι αποθηκεύει η κρυφή μνήμη KV και γιατί;
   • Προηγουμένως υπολογισμένα κλειδιά και τιμές προσοχής, ώστε να μην επαναυπολογίζονται σε κάθε βήμα
   • Τα δεδομένα εκπαίδευσης του μοντέλου για επανεκπαίδευση
   • Κωδικοί πρόσβασης χρήστη για έλεγχο ταυτότητας
   • Μόνο η τελική έξοδος κειμένου
2. Γιατί η κρυφή μνήμη KV μπορεί να γίνει πρόβλημα μνήμης;
   • Καταστρέφει μόνιμα τη GPU
   • Αναπτύσσεται με μήκος ακολουθίας, μέγεθος παρτίδας και στρώματα, μερικές φορές υπερβαίνοντας τα βάρη του μοντέλου
   • Λειτουργεί μόνο σε κείμενο μικρότερο από 10 λέξεις
   • Αντιγράφει το λειτουργικό σύστημα
3. Ποια έννοια λειτουργικού συστήματος δανείζεται το PagedAttention;
   • Βοηθητικά προγράμματα ανασυγκρότησης δίσκου
   • Σάρωση προστασίας από ιούς
   • Σελιδοποίηση εικονικής μνήμης με μπλοκ σταθερού μεγέθους
   • Κλιμάκωση ανάλυσης οθόνης
4. Πώς το Grouped-Query και το Multi-Query Attention μειώνουν το μέγεθος της κρυφής μνήμης KV;
   • Διαγράφοντας τον μηχανισμό προσοχής
   • Αποθηκεύοντας την κρυφή μνήμη ως εικόνες
   • Με την εκπαίδευση σε λιγότερα δεδομένα
   • Επιτρέποντας σε πολλές κεφαλές ερωτημάτων να μοιράζονται λιγότερες κεφαλές κλειδιών/τιμών
5. Ποιο είναι ένα πλεονέκτημα της κοινής χρήσης προθέματος στην κρυφή μνήμη KV;
   • Αιτήματα με την ίδια προτροπή έναρξης μπορούν να επαναχρησιμοποιήσουν τα ίδια μπλοκ προσωρινής αποθήκευσης
   • Κρυπτογραφεί το μοντέλο
   • Επιβραδύνει κάθε αίτημα εξίσου
   • Αφαιρεί την ανάγκη για προσοχή
6. Compared with storing the same KV entries in 16-bit, what does 8-bit storage do to raw cache-value bytes?
   • It doubles the raw bytes
   • It roughly halves the raw bytes, before metadata and other runtime memory
   • It removes the key and value tensors entirely
   • It guarantees twice the inference speed
7. With full-context attention, no prefix sharing, and a fixed model and cache dtype, what happens if sequence length and batch size both double?
   • It stays constant because model weights are fixed
   • It roughly doubles
   • Raw KV storage grows to roughly four times its previous size
   • It becomes one quarter as large
8. What must generally match for two requests to reuse the same cached prefix blocks?
   • Only the user account name
   • The requests must have different model weights
   • The prompts must have the same character count but different tokens
   • Their tokenized prefix and relevant model/cache configuration must be compatible