Mai departeUrmătorul ghid
Confidențialitate diferențială
Tehnic
GHID tehnic
PagedAttention și vLLM
PagedAttention manages transformer key/value caches using fixed-size blocks mapped from logical token positions.
Ascultă acest ghidNarativ AI · ~2 min
Pe această pagină2 minute de lectură
Prezentare generală
This reduces cache-allocation waste and supports sharing, while vLLM’s actual throughput depends on the workload and system.
Scufundare în profunzime
Atunci când un model de limbă generează text, acesta păstrează o „cache KV” (vectori cheie și valoare) pentru fiecare simbol pe care l-a văzut, astfel încât următorul simbol să se ocupe de contextul complet. În mod tradițional, fiecare solicitare a rezervat o placă mare de memorie GPU, dimensionată pentru lungimea maximă posibilă, irosind cantități uriașe atunci când secvențele erau mai scurte sau variate în lungime. PagedAttention, introdus în lucrarea vLLM din 2023 de la UC Berkeley, împrumută ideea de paginare a memoriei virtuale din sistemele de operare: împarte memoria cache KV în blocuri de dimensiuni fixe care pot trăi oriunde în memorie și pot fi alocate la cerere. Un tabel de căutare mapează pozițiile token-urilor logice la blocuri fizice. Acest lucru aproape elimină fragmentarea memoriei și permite partajarea blocurilor, de exemplu în mai multe ieșiri din același prompt.
Implementare în lumea reală
Găzduirea unui API LLM cu sursă deschisă în care vLLM deservește mulți utilizatori concurenți de chat dintr-un singur GPU la un randament ridicat
Partajarea unei solicitări lungi de sistem pentru mii de solicitări prin memorarea în cache a prefixelor, astfel încât să fie procesată o dată, nu în mod repetat
Căutare fascicul de rulare sau completări eșantionate multiple care partajează blocuri KV pentru solicitarea comună prin copiere la scriere
Reducerea pierderii de memorie GPU de la fragmentare, astfel încât un furnizor să poată împacheta mai multe sesiuni simultane pe același hardware
Viitorul PagedAttention și vLLM
vLLM a devenit o coloană vertebrală de inferență open-source implicită, iar ideile lui PagedAttention apar acum în majoritatea stivelor de difuzare. Așteptați-vă la o memorare mai profundă a prefixelor (reutilizarea solicitărilor de sistem stocate în cache pentru utilizatori), la precompletare și decodare dezagregate pe mașini separate, politici de evacuare mai inteligente și o integrare strânsă cu cuantificare și decodare speculativă. Pe măsură ce ferestrele de context cresc în milioane de jetoane, gestionarea eficientă a KV paginată devine și mai centrală pentru a menține servirea la prețuri accesibile.
Punând-o în practică
De ce contează
- Cost și buget. Deciziile de arhitectură generează performanța și costurile de operare de ani de zile.
- Decizii mai clare. Educația tehnică ajută echipele să aleagă stiva potrivită, nu doar cea mai nouă.
- Controlul calității. Opțiuni de inginerie mai bune reduc incidentele de fiabilitate în producție.
Atenție la
- Optimizarea unui punct de referință poate ascunde slăbiciunile mai largi ale sistemului.
- Costurile de infrastructură și întreținere sunt adesea subestimate.
- Lacunele de securitate și observabilitate pot crește pe măsură ce sistemele devin mai complexe.
Următorii pași
- Definiți obiectivele de latență, calitate și cost înainte de implementare.
- Benchmark în condiții realiste de încărcare și date.
- Monitorizarea instrumentelor pentru erori, deriva și impactul utilizatorului.
- Pregătiți căile de retragere și răspuns la incident înainte de scalare.
Continuați să explorați
Buletin gratuit
Primește briefingul zilnic AI
Trei povești AI verificate în fiecare dimineață de zi lucrătoare, scrise în engleză simplă. Gratuit pentru totdeauna, fără reclame.
Un e-mail în fiecare zi lucrătoare. Dezabonare cu un singur clic. Nu vindem niciodată și nu împărtășim adresa ta.
Testează-te
Take the PagedAttention and vLLM quiz
Feedback instantaneu la fiecare răspuns și un certificat partajabil cu un ID verificabil după ce parcurgi un curs.
Susține educația AI gratuită. AI Understanding este o organizație nonprofit 501(c)(3) — fără reclame, fără barieră de plată, pentru totdeauna. Fă o donație
Întrebări frecvente
Ce este PagedAttention și vLLM?
PagedAttention manages transformer key/value caches using fixed-size blocks mapped from logical token positions. This reduces cache-allocation waste and supports sharing, while vLLM’s actual throughput depends on the workload and system.
Ce stochează „KV cache” în timpul generării textului?
Cache-ul KV deține vectori cheie și valoare pentru fiecare token anterior, permițând modelului să se ocupe de contextul complet fără a-l recalcula la fiecare pas.
Ce concept de sistem de operare a inspirat PagedAttention?
PagedAttention împrumută paginarea în memorie virtuală: memoria cache KV este împărțită în pagini de dimensiuni fixe care pot locui oriunde, mapate de un tabel bloc.
Ce problemă cu alocarea tradițională a memoriei cache KV rezolvă PagedAttention?
Rezervarea unei plăci mari contigue pe cerere, dimensionată pentru lungimea maximă, a irosit cantități uriașe de memorie GPU. Paging alocă blocuri mici la cerere, reducând deșeurile.
Cum permite PagedAttention mai multe ieșiri să partajeze memoria pentru un prompt comun?
Prefixele identice (indemnizații partajate sau ramuri de căutare a fasciculului) fac referire la aceleași pagini KV fizice, copiendu-se numai atunci când o ramură diverge.
Unde au fost dezvoltate inițial vLLM și PagedAttention?
vLLM și algoritmul PagedAttention au apărut din UC Berkeley într-o lucrare din 2023 și au devenit rapid un motor de servire open-source utilizat pe scară largă.
Continuați să învățați
Ghiduri conexe
Mai multe ghiduri alese pentru acest subiect