ΕπόμενοΕπόμενος οδηγός
KV Cache (Προσωρινή μνήμη KV)
Γλώσσα AI
Τεχνικός ΟΔΗΓΟΣ
Βελτιστοποίηση προσωρινής μνήμης KV
Η κρυφή μνήμη KV αποθηκεύει τα κλειδιά και τις τιμές που έχει ήδη υπολογίσει ένας μετασχηματιστής, ώστε να μην επαναλαμβάνει την εργασία για κάθε νέο διακριτικό — αλλά μπορεί να μεταφερθεί σε gigabyte.
Ακούστε αυτόν τον οδηγόαφήγηση με AI · ~2 min
Σε αυτήν τη σελίδα2 λεπτά ανάγνωση
Επισκόπηση
Η βελτιστοποίηση κρυφής μνήμης KV συρρικνώνεται και διαχειρίζεται αυτή τη μνήμη, έτσι ώστε τα μοντέλα να εξυπηρετούν μεγαλύτερα περιβάλλοντα σε περισσότερους χρήστες ταυτόχρονα.
Βαθιά κατάδυση
In a transformer, each new token attends to all previous tokens via attention's keys (K) and values (V). Recomputing K and V for the whole sequence at every step would be quadratic and wasteful, so models cache them: the KV cache. The downside is size. The cache grows linearly with sequence length, batch size, layers, and heads, so a long-context request can consume more GPU memory than the model weights themselves. Optimization tackles this from several angles: paged memory (vLLM's PagedAttention) stores the cache in non-contiguous blocks to reduce fragmentation and enable sharing; quantization stores K and V in 8-bit or 4-bit; and architectural changes like Grouped-Query Attention (GQA) and Multi-Query Attention (MQA) let many query heads share fewer key/value heads, slashing cache size at the source.
Υλοποίηση σε πραγματικό κόσμο
vLLM's PagedAttention serving many concurrent chat sessions by packing KV blocks while reducing memory fragmentation
Προσοχή ομαδοποιημένου ερωτήματος στα μοντέλα Llama που μειώνουν το μέγεθος της κρυφής μνήμης KV, ώστε τα μεγαλύτερα περιβάλλοντα να χωρούν στη μνήμη GPU
Κβαντισμός της κρυφής μνήμης KV σε 8-bit (KV8) για να μειωθεί κατά το ήμισυ η κρυφή μνήμη κατά τη σύνοψη μεγάλων εγγράφων
Προσωρινή αποθήκευση προθέματος που επαναχρησιμοποιεί τα μπλοκ KV ενός κοινόχρηστου συστήματος σε χιλιάδες αιτήματα API
Το μέλλον της βελτιστοποίησης κρυφής μνήμης KV
Καθώς τα παράθυρα περιβάλλοντος εκτείνονται σε εκατοντάδες χιλιάδες ή εκατομμύρια διακριτικά, η κρυφή μνήμη KV γίνεται το κυρίαρχο κόστος προβολής. Αναμένετε επιθετική συμπίεση και εξάλειψη της κρυφής μνήμης (απόρριψη διακριτικών χαμηλής προσοχής), κοινή χρήση προθέματος μεταξύ αιτημάτων ως προεπιλογή, εκφόρτωση ψυχρής κρυφής μνήμης σε CPU ή NVMe και αρχιτεκτονικές όπως το MLA και το GQA να γίνουν στάνταρ. Η διαχείριση της προσωρινής μνήμης θα μοιάζει ολοένα και περισσότερο με μια ιεραρχία πλήρους μνήμης με επίπεδα και έξυπνη προανάκτηση.
Κάνοντάς το στην πράξη
Γιατί έχει σημασία
- Κόστος και προϋπολογισμός. Οι αποφάσεις για την αρχιτεκτονική καθορίζουν την απόδοση και το λειτουργικό κόστος για χρόνια.
- Σαφέστερες αποφάσεις. Η τεχνική εκπαίδευση βοηθά τις ομάδες να επιλέξουν τη σωστή στοίβα, όχι μόνο τη νεότερη.
- Ελεγχος ποιότητας. Οι καλύτερες επιλογές μηχανικής μειώνουν τα περιστατικά αξιοπιστίας στην παραγωγή.
Προσέξτε
- Η βελτιστοποίηση ενός σημείου αναφοράς μπορεί να κρύψει ευρύτερες αδυναμίες του συστήματος.
- Το κόστος υποδομής και συντήρησης συχνά υποτιμάται.
- Τα κενά ασφάλειας και παρατηρητικότητας μπορούν να αυξηθούν καθώς τα συστήματα γίνονται πιο πολύπλοκα.
Επόμενα βήματα
- Καθορίστε τους στόχους καθυστέρησης, ποιότητας και κόστους πριν από την εφαρμογή.
- Σημείο αναφοράς υπό ρεαλιστικές συνθήκες φορτίου και δεδομένων.
- Παρακολούθηση οργάνου για σφάλματα, μετατόπιση και επιπτώσεις από τον χρήστη.
- Προετοιμάστε διαδρομές επαναφοράς και απόκρισης συμβάντος πριν την κλιμάκωση.
Συνεχίστε την εξερεύνηση
Δωρεάν ενημερωτικό δελτίο
Λάβετε την καθημερινή ενημέρωση AI
Τρία επαληθευμένα νέα AI κάθε πρωί της εβδομάδας, γραμμένα σε απλή αγγλική. Δωρεάν για πάντα, χωρίς διαφημίσεις.
Ένα email κάθε εργάσιμη ημέρα. Κατάργηση συνδρομής με ένα κλικ. Δεν πουλάμε ή μοιραζόμαστε ποτέ τη διεύθυνσή σας.
Δοκιμάστε τον εαυτό σας
Take the KV Cache Optimization quiz
Άμεση ανάδραση σε κάθε απάντηση, και πιστοποιητικό με επαληθεύσιμο ID μόλις περάσετε το μάθημα.
Υποστηρίξτε τη δωρεάν εκπαίδευση AI. AI Understanding είναι μια μη κερδοσκοπική οργάνωση 501(c)(3) — χωρίς διαφημίσεις, χωρίς τοίχο πληρωμής, ποτέ. Κάντε μια δωρεά
Συχνές ερωτήσεις
Τι είναι η βελτιστοποίηση προσωρινής μνήμης KV;
Η κρυφή μνήμη KV αποθηκεύει τα κλειδιά και τις τιμές που έχει ήδη υπολογίσει ένας μετασχηματιστής, ώστε να μην επαναλαμβάνει την εργασία για κάθε νέο διακριτικό — αλλά μπορεί να μεταφερθεί σε gigabyte. Η βελτιστοποίηση κρυφής μνήμης KV συρρικνώνεται και διαχειρίζεται αυτή τη μνήμη, έτσι ώστε τα μοντέλα να εξυπηρετούν μεγαλύτερα περιβάλλοντα σε περισσότερους χρήστες ταυτόχρονα.
Τι αποθηκεύει η κρυφή μνήμη KV και γιατί;
Η προσωρινή αποθήκευση κλειδιών και τιμών από προηγούμενα διακριτικά αποφεύγει την επανάληψη του υπολογισμού της προσοχής σε κάθε νέο διακριτικό, εξοικονομώντας χρόνο.
Γιατί η κρυφή μνήμη KV μπορεί να γίνει πρόβλημα μνήμης;
Το μέγεθος της κρυφής μνήμης κλιμακώνεται με μήκος περιβάλλοντος και ταυτόχρονη χρήση, έτσι ώστε τα μεγάλα αιτήματα να μπορούν να χρησιμοποιούν τεράστιες ποσότητες μνήμης GPU.
Ποια έννοια λειτουργικού συστήματος δανείζεται το PagedAttention;
Το PagedAttention αποθηκεύει την κρυφή μνήμη σε μη συνεχόμενα μπλοκ σταθερού μεγέθους που αντιστοιχίζονται μέσω ενός πίνακα, όπως ακριβώς η σελιδοποίηση του λειτουργικού συστήματος.
Πώς το Grouped-Query και το Multi-Query Attention μειώνουν το μέγεθος της κρυφής μνήμης KV;
Η κοινή χρήση κεφαλών κλειδιού/τιμής σε πολλαπλές κεφαλές ερωτήματος σημαίνει πολύ λιγότερα διανύσματα K και V για αποθήκευση.
Ποιο είναι ένα πλεονέκτημα της κοινής χρήσης προθέματος στην κρυφή μνήμη KV;
Μια προτροπή κοινόχρηστου συστήματος παράγει πανομοιότυπες καταχωρήσεις KV, έτσι πολλαπλά αιτήματα μπορούν να οδηγούν στα ίδια μπλοκ αντί να τα αντιγράφουν.
Συνέχισε να μαθαίνεις
Σχετικοί οδηγοί
Επιλέχθηκαν περισσότεροι οδηγοί για αυτό το θέμα