Technische GIDS

Gedesaggregeerde prefill- en decodeerserving

Een dienende architectuur die de gevolgtrekking van grote taalmodellen opsplitst in twee afzonderlijke fasen (vooraf invullen en decoderen) en deze op verschillende groepen GPU's uitvoert.

Luister naar deze gidsAI-verteld · ~2 min

Op deze pagina2 min lezen
  1. Overzicht
  2. Diepe duik
  3. Implementatie in de echte wereld
  4. De toekomst van gedesaggregeerde prefill- en decodeerserving
  5. Het in de praktijk brengen
  6. Blijf verkennen
  7. Veelgestelde vragen

Overzicht

Het is van belang omdat deze twee fasen tegengestelde hardware-eisen hebben, en het dwingen ervan op dezelfde machines capaciteit verspilt en de latentie schaadt.

Diepe duik

Wanneer een LLM antwoordt, werkt dit in twee fasen. Prefill leest de volledige prompt in één keer en bouwt de sleutelwaarde-cache (KV) op; dit is een grote, parallelle, rekengebonden burst die de wiskundige eenheden van de GPU verzadigt. Decode genereert vervolgens één voor één tokens, waarbij elke stap de hele KV-cache leest: een geheugenbandbreedte-gebonden, licht rekenstroompje. Als ze samen worden uitgevoerd, blokkeert een lange voorvulling de decodering van iedereen (head-of-line-blokkering), en het batchen van de twee zorgt voor interferentie. Disaggregatie plaatst prefill op de ene GPU-pool en decodering op een andere, waarbij de KV-cache tussen hen wordt overgedragen via snelle verbindingen zoals NVLink of InfiniBand. Elke pool wordt onafhankelijk afgestemd en geschaald, waardoor de goodput wordt verbeterd, de staartlatentie wordt afgevlakt en operators tegelijkertijd strakke tijd-tot-eerste-token- en tijd-per-uitvoer-token-doelen kunnen bereiken.

Implementatie in de echte wereld

Een chatassistent stuurt lange documentprompts door naar een rekenintensief prefill-cluster en streamt vervolgens de antwoorden van een voor geheugen geoptimaliseerd decoderingscluster om de typlatentie soepel te houden.

Met NVIDIA Dynamo en vLLM kunnen operators afzonderlijke werkgroepen voor vooraf invullen en decoderen inzetten, zodat een reeks lange prompts de lopende generaties niet bevriest.

Mooncake (gebruikt door Kimi van Moonshot AI) splitst prefill en decodering op en voegt een gedistribueerde KV-cachepool toe om overtollige promptherberekening op schaal te voorkomen.

Een service voor het aanvullen van codes maakt gebruik van een kleine prefill-pool voor korte prompts en een grote decoderingspool, aangezien de meeste kosten voortkomen uit het streamen van veel uitvoertokens.

De toekomst van gedesaggregeerde prefill- en decodeerserving

Verwacht dat disaggregatie een standaard wordt in productiestapels. Systemen als DistServe, Splitwise en Mooncake hebben het populair gemaakt, en vLLM en NVIDIA Dynamo leveren nu opgesplitste modi. Onderzoek stimuleert optimalisatie van KV-cache-overdracht, cache-pooling en hergebruik tussen verzoeken, dynamische herbalancering van prefill/decode-verhoudingen onder wisselend verkeer, en nauwere integratie met prefix-caching en chunked prefill. Naarmate contextvensters uitgroeien tot miljoenen tokens, wordt het scheiden van deze fasen steeds belangrijker voor kosteneffectieve dienstverlening met lage latentie.

Het in de praktijk brengen

Waarom het ertoe doet

  • Kosten en budget. Architectuurbeslissingen bepalen jarenlang de prestaties en bedrijfskosten.
  • Duidelijkere beslissingen. Technisch onderwijs helpt teams bij het kiezen van de juiste stapel, niet alleen de nieuwste.
  • Kwaliteitscontrole. Betere technische keuzes verminderen het aantal betrouwbaarheidsincidenten in de productie.

Pas op voor

  • Het optimaliseren van één benchmark kan bredere systeemzwakheden verbergen.
  • Infrastructuur- en onderhoudskosten worden vaak onderschat.
  • De lacunes op het gebied van beveiliging en waarneembaarheid kunnen groter worden naarmate systemen complexer worden.

Volgende stappen

  1. Definieer latentie-, kwaliteits- en kostendoelen vóór implementatie.
  2. Benchmark onder realistische belasting- en gegevensomstandigheden.
  3. Instrumentbewaking op fouten, drift en gebruikersimpact.
  4. Bereid rollback- en incidentresponspaden voor voordat u gaat schalen.

Blijf verkennen

Gratis nieuwsbrief

Ontvang de dagelijkse AI-briefing

Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.

Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.

Test jezelf

Take the Disaggregated Prefill and Decode Serving quiz

Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.

Quiz starten

Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie

Veelgestelde vragen

Wat is gedesaggregeerde prefill- en decodeerserving?

Een dienende architectuur die de gevolgtrekking van grote taalmodellen opsplitst in twee afzonderlijke fasen (vooraf invullen en decoderen) en deze op verschillende groepen GPU's uitvoert. Het is van belang omdat deze twee fasen tegengestelde hardware-eisen hebben, en het dwingen ervan op dezelfde machines capaciteit verspilt en de latentie schaadt.

Wat is de belangrijkste hardwarereden voor het scheiden van vooraf invullen en decoderen op verschillende GPU-pools?

Prefill verwerkt de hele prompt parallel en verzadigt de rekenkracht, terwijl decodering bij elke stap de KV-cache leest en wordt beperkt door de geheugenbandbreedte - tegenovergestelde verlangens die afzonderlijke, onafhankelijk afgestemde pools rechtvaardigen.

Welke gegevensstructuur moet worden overgedragen van prefill-werknemers naar decodeerwerknemers?

Prefill bouwt de KV-cache voor de prompt; decode heeft die cache nodig om door te gaan met genereren, dus de cache wordt via een snelle verbinding met de decodeerpool verzonden.

Welk probleem wordt door disaggregatie specifiek verminderd in een gedeelde GPU-opstelling?

Op gedeelde GPU's kan een lange prefill-burst lopende decodeerstappen blokkeren; het scheiden ervan voorkomt die interferentie en stabiliseert de staartlatentie.

Waarom kan vooraf vullen agressief in batches worden verwerkt, maar kunnen de voordelen van verschillende afstemmingen worden gedecodeerd?

Prefill verwerkt alle prompttokens samen, zodat grotere batches de tensorkernen goed voeden; decode genereert één token tegelijk en wordt afgesloten door het geheugen, zodat het anders wordt geschaald.

Welke verbindingen worden doorgaans gebruikt om de KV-cache tussen opgesplitste pools te verplaatsen?

Er zijn koppelingen met een hoge bandbreedte en lage latentie nodig, zoals NVLink (intra-node) en InfiniBand (inter-node), zodat de overdracht van KV-cache niet het nieuwe knelpunt wordt.