Technische GIDS

PagedAttention en vLLM

PagedAttention manages transformer key/value caches using fixed-size blocks mapped from logical token positions.

Luister naar deze gidsAI-verteld · ~2 min

Op deze pagina2 min lezen
  1. Overzicht
  2. Diepe duik
  3. Implementatie in de echte wereld
  4. De toekomst van PagedAttention en vLLM
  5. Het in de praktijk brengen
  6. Blijf verkennen
  7. Veelgestelde vragen

Overzicht

This reduces cache-allocation waste and supports sharing, while vLLM’s actual throughput depends on the workload and system.

Diepe duik

Wanneer een taalmodel tekst genereert, houdt het een 'KV-cache' (sleutel- en waardevectoren) bij voor elk token dat het heeft gezien, zodat het volgende token de volledige context kan verzorgen. Traditioneel reserveerde elk verzoek één grote aaneengesloten plaat GPU-geheugen die was afgestemd op de maximaal mogelijke lengte, waardoor enorme hoeveelheden werden verspild als reeksen korter waren of in lengte varieerden. PagedAttention, geïntroduceerd in het vLLM-paper uit 2023 van UC Berkeley, ontleent het idee van virtueel geheugenpaging aan besturingssystemen: het splitst de KV-cache op in blokken van vaste grootte die overal in het geheugen kunnen voorkomen en op verzoek kunnen worden toegewezen. Een opzoektabel wijst logische tokenposities toe aan fysieke blokken. Hierdoor wordt geheugenfragmentatie vrijwel geëlimineerd en kunnen blokken worden gedeeld, bijvoorbeeld over meerdere uitvoer van dezelfde prompt.

Implementatie in de echte wereld

Het hosten van een open-source LLM API waarbij vLLM veel gelijktijdige chatgebruikers bedient vanaf één GPU met een hoge doorvoer

Het delen van een lange systeemprompt over duizenden verzoeken via prefixcaching, zodat deze één keer wordt verwerkt en niet herhaaldelijk

Lopende straalzoekopdracht of meerdere bemonsterde voltooiingen die KV-blokken delen voor de gemeenschappelijke prompt via copy-on-write

Het terugdringen van GPU-geheugenverspilling door fragmentatie, zodat een provider meer gelijktijdige sessies op dezelfde hardware kan verwerken

De toekomst van PagedAttention en vLLM

vLLM is een standaard backbone voor open source-inferentie geworden, en de ideeën van PagedAttention verschijnen nu in de meeste serveerstapels. Verwacht diepere caching van prefixen (hergebruik van in de cache opgeslagen systeemprompts voor alle gebruikers), opgesplitste prefill en decodering op afzonderlijke machines, slimmer uitzettingsbeleid en nauwe integratie met kwantisering en speculatieve decodering. Naarmate contextvensters uitgroeien tot miljoenen tokens, wordt efficiënt KV-beheer op pagina's nog belangrijker om de dienstverlening betaalbaar te houden.

Het in de praktijk brengen

Waarom het ertoe doet

  • Kosten en budget. Architectuurbeslissingen bepalen jarenlang de prestaties en bedrijfskosten.
  • Duidelijkere beslissingen. Technisch onderwijs helpt teams bij het kiezen van de juiste stapel, niet alleen de nieuwste.
  • Kwaliteitscontrole. Betere technische keuzes verminderen het aantal betrouwbaarheidsincidenten in de productie.

Pas op voor

  • Het optimaliseren van één benchmark kan bredere systeemzwakheden verbergen.
  • Infrastructuur- en onderhoudskosten worden vaak onderschat.
  • De lacunes op het gebied van beveiliging en waarneembaarheid kunnen groter worden naarmate systemen complexer worden.

Volgende stappen

  1. Definieer latentie-, kwaliteits- en kostendoelen vóór implementatie.
  2. Benchmark onder realistische belasting- en gegevensomstandigheden.
  3. Instrumentbewaking op fouten, drift en gebruikersimpact.
  4. Bereid rollback- en incidentresponspaden voor voordat u gaat schalen.

Blijf verkennen

Gratis nieuwsbrief

Ontvang de dagelijkse AI-briefing

Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.

Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.

Test jezelf

Take the PagedAttention and vLLM quiz

Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.

Quiz starten

Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie

Veelgestelde vragen

What is PagedAttention and vLLM?

PagedAttention manages transformer key/value caches using fixed-size blocks mapped from logical token positions. This reduces cache-allocation waste and supports sharing, while vLLM’s actual throughput depends on the workload and system.

Wat slaat de 'KV-cache' op tijdens het genereren van tekst?

De KV-cache bevat sleutel- en waardevectoren voor elk voorafgaand token, waardoor het model de volledige context kan bekijken zonder deze elke stap opnieuw te berekenen.

Welk besturingssysteemconcept inspireerde PagedAttention?

PagedAttention leent virtuele geheugenpaging: de KV-cache wordt opgesplitst in pagina's van vaste grootte die overal kunnen staan, in kaart gebracht door een bloktabel.

Welk probleem met traditionele KV-cachetoewijzing lost PagedAttention op?

Het reserveren van één grote aaneengesloten plaat per verzoek, op maat gemaakt voor de maximale lengte, verspilde enorme hoeveelheden GPU-geheugen. Paging wijst op verzoek kleine blokken toe, waardoor verspilling wordt verminderd.

Hoe zorgt PagedAttention ervoor dat meerdere uitgangen geheugen delen voor een gemeenschappelijke prompt?

Identieke voorvoegsels (gedeelde aanwijzingen of bundelzoekvertakkingen) verwijzen naar dezelfde fysieke KV-pagina's en worden alleen gekopieerd wanneer een vertakking afwijkt.

Waar zijn vLLM en PagedAttention oorspronkelijk ontwikkeld?

vLLM en het PagedAttention-algoritme kwamen uit UC Berkeley in een artikel uit 2023 en werden al snel een veelgebruikte open-source-serving-engine.