DalšíDalší průvodce
KServe a modelování na Kubernetes
Technický
Technický PRŮVODCE
Obslužná architektura, která rozděluje odvození velkého jazykového modelu do dvou samostatných fází – předvyplnění a dekódování – a spouští je na různých fondech GPU.
Poslechněte si tento návodAI-vyprávěný · ~2 min
Záleží na tom, protože tyto dvě fáze mají opačné požadavky na hardware a jejich vnucování stejným strojům plýtvá kapacitou a škodí latenci.
Když LLM odpoví, funguje to ve dvou fázích. Prefill přečte celou výzvu najednou a vytvoří mezipaměť klíč-hodnota (KV); toto je velký, paralelní, výpočetně vázaný výbuch, který nasytí matematické jednotky GPU. Dekódování pak generuje tokeny jeden po druhém, přičemž každý krok čte celou KV mezipaměť – mírný úprk vázaný na šířku pásma paměti. Když běžte společně, dlouhá předvýplň zastaví dekódování všech (blokování hlavičky) a jejich dávkování v dávkách vytváří interferenci. Disagregace vloží předvyplnění do jednoho fondu GPU a dekódování do druhého, mezi nimiž se mezi nimi přenese mezipaměť KV přes rychlá propojení, jako je NVLink nebo InfiniBand. Každý fond je laděn a škálován nezávisle, čímž se zlepšuje dobrý výkon, vyhlazuje latence ocasu a umožňuje operátorům dosáhnout napjatých cílů v době do prvního tokenu a času na výstup současně.
Asistent chatu směruje výzvy k dlouhým dokumentům do výpočetně náročného předvyplňovacího clusteru a poté streamuje odpovědi z paměťově optimalizovaného dekódovacího clusteru, aby byla latence psaní plynulá.
NVIDIA Dynamo a vLLM umožňují operátorům nasadit samostatné skupiny pracovníků pro předvyplnění a dekódování, takže příval dlouhých výzev nezmrazí další generace.
Mooncake (používaný Kimi z Moonshot AI) rozděluje předvyplnění a dekódování a přidává distribuovaný fond mezipaměti KV, aby se snížil nadbytečný rychlý přepočet ve velkém měřítku.
Služba dokončování kódu vyčleňuje malý fond předvyplnění pro krátké výzvy a velký fond dekódování, protože většina nákladů pochází ze streamování mnoha výstupních tokenů.
Očekávejte, že se dezagregace stane výchozím nastavením v produkčních hromadách. Systémy jako DistServe, Splitwise a Mooncake jej popularizovaly a vLLM a NVIDIA Dynamo nyní dodávají rozčleněné režimy. Výzkum prosazuje optimalizaci přenosu mezipaměti KV, sdružování a opětovné použití mezipaměti napříč požadavky, dynamické vyvažování poměrů předvyplnění/dekódování při přesunu provozu a těsnější integraci s mezipamětí prefixů a předvyplněním po částech. Jak kontextová okna narůstají do milionů tokenů, je oddělení těchto fází stále důležitější pro nákladově efektivní obsluhu s nízkou latencí.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Obslužná architektura, která rozděluje odvození velkého jazykového modelu do dvou samostatných fází – předvyplnění a dekódování – a spouští je na různých fondech GPU. Záleží na tom, protože tyto dvě fáze mají protichůdné požadavky na hardware a jejich vnucování stejným strojům plýtvá kapacitou a škodí latenci.
Prefill zpracovává celou výzvu paralelně a saturuje výpočet, zatímco dekódování čte KV cache každý krok a je omezeno šířkou pásma paměti – opačné požadavky, které ospravedlňují samostatné, nezávisle laděné fondy.
Prefill vytvoří mezipaměť KV pro výzvu; decode potřebuje tuto mezipaměť, aby pokračovalo ve generování, takže mezipaměť je dodávána přes rychlé propojení do fondu dekódování.
Na sdílených GPU může dlouhé předvyplnění blokovat probíhající kroky dekódování; jejich oddělení zabraňuje tomuto rušení a stabilizuje latenci ocasu.
Předvyplnění zpracovává všechny tokeny výzvy společně, takže větší dávky dobře zásobují tenzorová jádra; dekódování generuje vždy jeden token a je hradlováno pamětí, takže se různě škáluje.
Aby se přenos KV-mezipaměti nestal novým úzkým hrdlem, jsou zapotřebí vysokorychlostní spojení s nízkou latencí, jako je NVLink (v rámci uzlu) a InfiniBand (mezi uzlem).
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
KServe a modelování na Kubernetes
Technický