Κουίζ που συνδέεται με οδηγό · Μεσαίο Επίπεδο

Κουίζ KV Cache

Ελέγξτε την επαναχρησιμοποίηση της κρυφής μνήμης KV κατά τη διάρκεια της αυτοπαλινδρομικής αποκωδικοποίησης, της πίεσης μνήμης, της κοινής χρήσης πολλαπλών αιτημάτων και των αντισταθμίσεων κατανομής με σελίδα.

Σχετικές διαδρομές οδηγώνKv Cache
Ερώτηση 1 του 8

Τι αποθηκεύει η κρυφή μνήμη KV;

Προεπισκόπηση κάθε ερώτησης8 ερωτήσεις

Οι απαντήσεις και οι εξηγήσεις εμφανίζονται καθώς κάνετε το κουίζ.

  1. Τι αποθηκεύει η κρυφή μνήμη KV;
    • Τα διανύσματα κλειδιού και τιμής που υπολογίστηκαν για προηγούμενα διακριτικά
    • Πίνακες πλήρους βάρους του μοντέλου
    • Το ιστορικό συνομιλιών του χρήστη ως απλό κείμενο
    • Οι τελικές πιθανότητες εξόδου
  2. Τι πρόβλημα επιλύει κυρίως η κρυφή μνήμη KV;
    • Βελτιώνει τη γραμματική του κειμένου που δημιουργείται
    • Αποφεύγει τον επανυπολογισμό κλειδιών και τιμών για όλα τα προηγούμενα διακριτικά σε κάθε βήμα
    • Αυξάνει το λεξιλόγιο του μοντέλου
    • Κρυπτογραφεί τη συνομιλία
  3. Ποιο είναι το κύριο μειονέκτημα της κρυφής μνήμης KV;
    • Κάνει τη γενιά πιο αργή
    • Μειώνει την ποιότητα εξόδου
    • Η χρήση της μνήμης του αυξάνεται γραμμικά με το μήκος του περιβάλλοντος
    • Λειτουργεί μόνο σε CPU
  4. Ποια τεχνική μειώνει το μέγεθος της κρυφής μνήμης KV με την κοινή χρήση κλειδιών και τιμών μεταξύ των κεφαλών προσοχής;
    • Εγκατάλειψη
    • Αναζήτηση δέσμης
    • Tokenization (Τεμαχισμός σε tokens)
    • Προσοχή ομαδοποιημένου ερωτήματος ή πολλαπλών ερωτημάτων
  5. Ποιες είναι οι δύο φάσεις συμπερασμάτων του μετασχηματιστή σε σχέση με την κρυφή μνήμη KV;
    • Προσυμπλήρωση (επεξεργασία της προτροπής) και αποκωδικοποίηση (δημιουργία ενός διακριτικού τη φορά)
    • Εκπαίδευση και δοκιμές
    • Κωδικοποίηση και συμπίεση
    • Μεταφόρτωση και λήψη
  6. Τι κάνει το PagedAttention του vLLM για την κρυφή μνήμη KV;
    • Διαγράφει την κρυφή μνήμη μετά από κάθε διακριτικό
    • Εκχωρεί τη μνήμη cache σε μη συνεχόμενα μπλοκ για να μειώσει τον κατακερματισμό της μνήμης
    • Μετατρέπει την προσωρινή μνήμη σε κείμενο
    • Διπλασιάζει τον αριθμό παραμέτρων του μοντέλου
  7. Why can KV-cache memory limit how many requests a GPU serves concurrently?
    • The cache stores all training examples on the GPU
    • Each request creates a new model copy
    • Each active sequence retains key and value tensors that grow with its generated context
    • The cache stores only final text on disk
  8. What is one benefit of sharing KV-cache blocks among requests with a common prefix?
    • It makes unrelated prefixes identical
    • It removes the need to compute attention
    • It guarantees lower latency in every workload
    • It can avoid storing duplicate prefix state and reduce memory use