VolgendeVolgende gids
KServe en Model Serving op Kubernetes
Technisch
Technische GIDS
Een dienende architectuur die de gevolgtrekking van grote taalmodellen opsplitst in twee afzonderlijke fasen (vooraf invullen en decoderen) en deze op verschillende groepen GPU's uitvoert.
Luister naar deze gidsAI-verteld · ~2 min
Het is van belang omdat deze twee fasen tegengestelde hardware-eisen hebben, en het dwingen ervan op dezelfde machines capaciteit verspilt en de latentie schaadt.
Wanneer een LLM antwoordt, werkt dit in twee fasen. Prefill leest de volledige prompt in één keer en bouwt de sleutelwaarde-cache (KV) op; dit is een grote, parallelle, rekengebonden burst die de wiskundige eenheden van de GPU verzadigt. Decode genereert vervolgens één voor één tokens, waarbij elke stap de hele KV-cache leest: een geheugenbandbreedte-gebonden, licht rekenstroompje. Als ze samen worden uitgevoerd, blokkeert een lange voorvulling de decodering van iedereen (head-of-line-blokkering), en het batchen van de twee zorgt voor interferentie. Disaggregatie plaatst prefill op de ene GPU-pool en decodering op een andere, waarbij de KV-cache tussen hen wordt overgedragen via snelle verbindingen zoals NVLink of InfiniBand. Elke pool wordt onafhankelijk afgestemd en geschaald, waardoor de goodput wordt verbeterd, de staartlatentie wordt afgevlakt en operators tegelijkertijd strakke tijd-tot-eerste-token- en tijd-per-uitvoer-token-doelen kunnen bereiken.
Een chatassistent stuurt lange documentprompts door naar een rekenintensief prefill-cluster en streamt vervolgens de antwoorden van een voor geheugen geoptimaliseerd decoderingscluster om de typlatentie soepel te houden.
Met NVIDIA Dynamo en vLLM kunnen operators afzonderlijke werkgroepen voor vooraf invullen en decoderen inzetten, zodat een reeks lange prompts de lopende generaties niet bevriest.
Mooncake (gebruikt door Kimi van Moonshot AI) splitst prefill en decodering op en voegt een gedistribueerde KV-cachepool toe om overtollige promptherberekening op schaal te voorkomen.
Een service voor het aanvullen van codes maakt gebruik van een kleine prefill-pool voor korte prompts en een grote decoderingspool, aangezien de meeste kosten voortkomen uit het streamen van veel uitvoertokens.
Verwacht dat disaggregatie een standaard wordt in productiestapels. Systemen als DistServe, Splitwise en Mooncake hebben het populair gemaakt, en vLLM en NVIDIA Dynamo leveren nu opgesplitste modi. Onderzoek stimuleert optimalisatie van KV-cache-overdracht, cache-pooling en hergebruik tussen verzoeken, dynamische herbalancering van prefill/decode-verhoudingen onder wisselend verkeer, en nauwere integratie met prefix-caching en chunked prefill. Naarmate contextvensters uitgroeien tot miljoenen tokens, wordt het scheiden van deze fasen steeds belangrijker voor kosteneffectieve dienstverlening met lage latentie.
Gratis nieuwsbrief
Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.
Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.
Test jezelf
Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.
Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie
Een dienende architectuur die de gevolgtrekking van grote taalmodellen opsplitst in twee afzonderlijke fasen (vooraf invullen en decoderen) en deze op verschillende groepen GPU's uitvoert. Het is van belang omdat deze twee fasen tegengestelde hardware-eisen hebben, en het dwingen ervan op dezelfde machines capaciteit verspilt en de latentie schaadt.
Prefill verwerkt de hele prompt parallel en verzadigt de rekenkracht, terwijl decodering bij elke stap de KV-cache leest en wordt beperkt door de geheugenbandbreedte - tegenovergestelde verlangens die afzonderlijke, onafhankelijk afgestemde pools rechtvaardigen.
Prefill bouwt de KV-cache voor de prompt; decode heeft die cache nodig om door te gaan met genereren, dus de cache wordt via een snelle verbinding met de decodeerpool verzonden.
Op gedeelde GPU's kan een lange prefill-burst lopende decodeerstappen blokkeren; het scheiden ervan voorkomt die interferentie en stabiliseert de staartlatentie.
Prefill verwerkt alle prompttokens samen, zodat grotere batches de tensorkernen goed voeden; decode genereert één token tegelijk en wordt afgesloten door het geheugen, zodat het anders wordt geschaald.
Er zijn koppelingen met een hoge bandbreedte en lage latentie nodig, zoals NVLink (intra-node) en InfiniBand (inter-node), zodat de overdracht van KV-cache niet het nieuwe knelpunt wordt.
Blijf leren
Er zijn meer handleidingen voor dit onderwerp geselecteerd
VolgendeVolgende gids
KServe en Model Serving op Kubernetes
Technisch