ΕπόμενοΕπόμενος οδηγός
Διαφορικό απόρρητο
Τεχνικά
Τεχνικός ΟΔΗΓΟΣ
PagedAttention και vLLM
PagedAttention manages transformer key/value caches using fixed-size blocks mapped from logical token positions.
Ακούστε αυτόν τον οδηγόαφήγηση με AI · ~2 min
Σε αυτήν τη σελίδα2 λεπτά ανάγνωση
Επισκόπηση
This reduces cache-allocation waste and supports sharing, while vLLM’s actual throughput depends on the workload and system.
Βαθιά κατάδυση
Όταν ένα μοντέλο γλώσσας δημιουργεί κείμενο, διατηρεί μια «κρυφή μνήμη KV» (διανύσματα κλειδιών και τιμών) για κάθε διακριτικό που έχει δει, έτσι ώστε το επόμενο διακριτικό να μπορεί να παρακολουθεί το πλήρες πλαίσιο. Παραδοσιακά, κάθε αίτημα κρατούσε μια μεγάλη συνεχόμενη πλάκα μνήμης GPU με μέγεθος για το μέγιστο δυνατό μήκος, χάνοντας τεράστια ποσά όταν οι ακολουθίες ήταν μικρότερες ή ποικίλλουν σε μήκος. Το PagedAttention, που παρουσιάστηκε στο έγγραφο vLLM του 2023 από το UC Berkeley, δανείζεται την ιδέα της σελιδοποίησης εικονικής μνήμης από λειτουργικά συστήματα: χωρίζει την κρυφή μνήμη KV σε μπλοκ σταθερού μεγέθους που μπορούν να ζουν οπουδήποτε στη μνήμη και να εκχωρούνται κατόπιν ζήτησης. Ένας πίνακας αναζήτησης αντιστοιχίζει λογικές θέσεις διακριτικών σε φυσικά μπλοκ. Αυτό σχεδόν εξαλείφει τον κατακερματισμό της μνήμης και επιτρέπει την κοινή χρήση μπλοκ, για παράδειγμα σε πολλαπλές εξόδους από την ίδια γραμμή εντολών.
Υλοποίηση σε πραγματικό κόσμο
Φιλοξενία ενός API LLM ανοιχτού κώδικα όπου το vLLM εξυπηρετεί πολλούς χρήστες ταυτόχρονων συνομιλιών από μία GPU σε υψηλή απόδοση
Κοινή χρήση μιας μεγάλης προτροπής συστήματος σε χιλιάδες αιτήματα μέσω προσωρινής αποθήκευσης προθέματος, ώστε να υποβάλλεται σε επεξεργασία μία φορά, όχι επανειλημμένα
Αναζήτηση δέσμης εκτέλεσης ή πολλαπλές ολοκληρώσεις δειγματοληψίας που μοιράζονται μπλοκ KV για την κοινή προτροπή μέσω αντιγραφής σε εγγραφή
Μείωση της σπατάλης μνήμης GPU από κατακερματισμό, έτσι ώστε ένας πάροχος να μπορεί να συσκευάσει περισσότερες ταυτόχρονες συνεδρίες στο ίδιο υλικό
Το μέλλον του PagedAttention και του vLLM
Το vLLM έχει γίνει μια προεπιλεγμένη βάση συμπερασμάτων ανοιχτού κώδικα και οι ιδέες του PagedAttention εμφανίζονται πλέον στις περισσότερες στοίβες εξυπηρέτησης. Αναμένετε βαθύτερη προσωρινή αποθήκευση προθεμάτων (επαναχρησιμοποίηση των προτροπών του συστήματος προσωρινής αποθήκευσης σε όλους τους χρήστες), ανανεωμένη προπλήρωση και αποκωδικοποίηση σε ξεχωριστά μηχανήματα, πιο έξυπνες πολιτικές εξώθησης και αυστηρή ενοποίηση με κβαντοποίηση και κερδοσκοπική αποκωδικοποίηση. Καθώς τα παράθυρα περιβάλλοντος μεγαλώνουν σε εκατομμύρια διακριτικά, η αποτελεσματική διαχείριση σελιδοποιημένης KV γίνεται ακόμη πιο κεντρική για να διατηρηθεί η προσιτή εξυπηρέτηση.
Κάνοντάς το στην πράξη
Γιατί έχει σημασία
- Κόστος και προϋπολογισμός. Οι αποφάσεις για την αρχιτεκτονική καθορίζουν την απόδοση και το λειτουργικό κόστος για χρόνια.
- Σαφέστερες αποφάσεις. Η τεχνική εκπαίδευση βοηθά τις ομάδες να επιλέξουν τη σωστή στοίβα, όχι μόνο τη νεότερη.
- Ελεγχος ποιότητας. Οι καλύτερες επιλογές μηχανικής μειώνουν τα περιστατικά αξιοπιστίας στην παραγωγή.
Προσέξτε
- Η βελτιστοποίηση ενός σημείου αναφοράς μπορεί να κρύψει ευρύτερες αδυναμίες του συστήματος.
- Το κόστος υποδομής και συντήρησης συχνά υποτιμάται.
- Τα κενά ασφάλειας και παρατηρητικότητας μπορούν να αυξηθούν καθώς τα συστήματα γίνονται πιο πολύπλοκα.
Επόμενα βήματα
- Καθορίστε τους στόχους καθυστέρησης, ποιότητας και κόστους πριν από την εφαρμογή.
- Σημείο αναφοράς υπό ρεαλιστικές συνθήκες φορτίου και δεδομένων.
- Παρακολούθηση οργάνου για σφάλματα, μετατόπιση και επιπτώσεις από τον χρήστη.
- Προετοιμάστε διαδρομές επαναφοράς και απόκρισης συμβάντος πριν την κλιμάκωση.
Συνεχίστε την εξερεύνηση
Δωρεάν ενημερωτικό δελτίο
Λάβετε την καθημερινή ενημέρωση AI
Τρία επαληθευμένα νέα AI κάθε πρωί της εβδομάδας, γραμμένα σε απλή αγγλική. Δωρεάν για πάντα, χωρίς διαφημίσεις.
Ένα email κάθε εργάσιμη ημέρα. Κατάργηση συνδρομής με ένα κλικ. Δεν πουλάμε ή μοιραζόμαστε ποτέ τη διεύθυνσή σας.
Δοκιμάστε τον εαυτό σας
Take the PagedAttention and vLLM quiz
Άμεση ανάδραση σε κάθε απάντηση, και πιστοποιητικό με επαληθεύσιμο ID μόλις περάσετε το μάθημα.
Υποστηρίξτε τη δωρεάν εκπαίδευση AI. AI Understanding είναι μια μη κερδοσκοπική οργάνωση 501(c)(3) — χωρίς διαφημίσεις, χωρίς τοίχο πληρωμής, ποτέ. Κάντε μια δωρεά
Συχνές ερωτήσεις
Τι είναι το PagedAttention και το vLLM;
PagedAttention manages transformer key/value caches using fixed-size blocks mapped from logical token positions. This reduces cache-allocation waste and supports sharing, while vLLM’s actual throughput depends on the workload and system.
Τι αποθηκεύει η «κρυφή μνήμη KV» κατά τη δημιουργία κειμένου;
Η κρυφή μνήμη KV περιέχει διανύσματα κλειδιών και τιμών για κάθε προηγούμενο διακριτικό, επιτρέποντας στο μοντέλο να παρακολουθεί το πλήρες πλαίσιο χωρίς να το υπολογίζει εκ νέου σε κάθε βήμα.
Ποια ιδέα λειτουργικού συστήματος ενέπνευσε το PagedAttention;
Το PagedAttention δανείζεται σελιδοποίηση εικονικής μνήμης: η κρυφή μνήμη KV χωρίζεται σε σελίδες σταθερού μεγέθους που μπορούν να ζουν οπουδήποτε, αντιστοιχισμένες από έναν πίνακα μπλοκ.
Ποιο πρόβλημα με την παραδοσιακή εκχώρηση κρυφής μνήμης KV επιλύει το PagedAttention;
Η κράτηση μιας μεγάλης συνεχόμενης πλάκας ανά αίτημα, μεγέθους για το μέγιστο μήκος, σπατάλησε τεράστιες ποσότητες μνήμης GPU. Η σελιδοποίηση εκχωρεί μικρά τετράγωνα κατόπιν ζήτησης, μειώνοντας τα απόβλητα.
Πώς το PagedAttention επιτρέπει σε πολλαπλές εξόδους να μοιράζονται μνήμη για μια κοινή προτροπή;
Τα ίδια προθέματα (κοινόχρηστες προτροπές ή κλάδοι αναζήτησης δέσμης) αναφέρονται στις ίδιες φυσικές σελίδες KV, αντιγράφοντας μόνο όταν ένας κλάδος αποκλίνει.
Πού αναπτύχθηκε αρχικά το vLLM και το PagedAttention;
Το vLLM και ο αλγόριθμος PagedAttention βγήκαν από το UC Berkeley σε μια εφημερίδα του 2023 και γρήγορα έγιναν μια ευρέως χρησιμοποιούμενη μηχανή εξυπηρέτησης ανοιχτού κώδικα.
Συνέχισε να μαθαίνεις
Σχετικοί οδηγοί
Επιλέχθηκαν περισσότεροι οδηγοί για αυτό το θέμα