Il prossimoProssima guida
Kserve e Model Serving su Kubernetes
Tecnico
GUIDA TECNICA
Un'architettura di servizio che divide l'inferenza del modello linguistico di grandi dimensioni in due fasi separate (precompilazione e decodifica) e le esegue su diversi pool di GPU.
Ascolta questa guidaNarrato dall'IA · ~2 min
È importante perché queste due fasi hanno esigenze hardware opposte e forzarle sulle stesse macchine spreca capacità e danneggia la latenza.
Quando un LLM risponde, funziona in due fasi. La precompilazione legge l'intero prompt in una sola volta e crea la cache dei valori-chiave (KV); si tratta di un grande burst parallelo, legato al calcolo, che satura le unità matematiche della GPU. Decode quindi genera token uno alla volta, ogni passaggio legge l'intera cache KV: un rivolo limitato alla larghezza di banda della memoria e leggermente computazionale. Se eseguiti insieme, una lunga precompilazione blocca la decodifica di tutti (blocco head-of-line) e l'unione dei due crea interferenze. La disaggregazione inserisce la precompilazione su un pool GPU e la decodifica su un altro, trasferendo la cache KV tra di loro tramite interconnessioni veloci come NVLink o InfiniBand. Ogni pool viene ottimizzato e ridimensionato in modo indipendente, migliorando il goodput, attenuando la latenza della coda e consentendo agli operatori di raggiungere contemporaneamente obiettivi rigorosi di time-to-first-token e time-per-output-token.
Un assistente chat instrada richieste di documenti lunghi a un cluster di precompilazione ad alto carico di calcolo, quindi trasmette le risposte da un cluster di decodifica ottimizzato per la memoria per mantenere fluida la latenza di digitazione.
NVIDIA Dynamo e vLLM consentono agli operatori di implementare gruppi di lavoro di precompilazione e decodifica separati in modo che una raffica di richieste lunghe non congeli le generazioni in corso.
Mooncake (utilizzato da Kimi di Moonshot AI) disaggrega la precompilazione e la decodifica e aggiunge un pool di cache KV distribuito per ridurre il ricalcolo ridondante dei prompt su larga scala.
Un servizio di completamento del codice dedica un piccolo pool di precompilazione per brevi richieste e un ampio pool di decodifica, poiché la maggior parte dei costi deriva dallo streaming di molti token di output.
Aspettatevi che la disaggregazione diventi un'impostazione predefinita negli stack di produzione. Sistemi come DistServe, Splitwise e Mooncake lo hanno reso popolare e vLLM e NVIDIA Dynamo ora forniscono modalità disaggregate. La ricerca sta spingendo verso l'ottimizzazione del trasferimento della cache KV, il pooling e il riutilizzo della cache tra le richieste, il ribilanciamento dinamico dei rapporti di precompilazione/decodifica in caso di traffico variabile e una più stretta integrazione con la memorizzazione nella cache dei prefissi e la precompilazione in blocchi. Man mano che le finestre di contesto diventano milioni di token, separare queste fasi diventa sempre più essenziale per un servizio conveniente e a bassa latenza.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
Un'architettura di servizio che divide l'inferenza del modello linguistico di grandi dimensioni in due fasi separate (precompilazione e decodifica) e le esegue su diversi pool di GPU. È importante perché queste due fasi hanno esigenze hardware opposte e forzarle sulle stesse macchine spreca capacità e danneggia la latenza.
La precompilazione elabora l'intero prompt in parallelo e satura il calcolo, mentre la decodifica legge la cache KV a ogni passaggio ed è limitata dalla larghezza di banda della memoria: esigenze opposte che giustificano pool separati e ottimizzati in modo indipendente.
La precompilazione crea la cache KV per il prompt; la decodifica necessita che la cache continui a essere generata, quindi la cache viene inviata tramite un'interconnessione veloce al pool di decodifica.
Sulle GPU condivise un lungo burst di precompilazione può bloccare i passaggi di decodifica in corso; separarli previene tale interferenza e stabilizza la latenza della coda.
La precompilazione elabora tutti i token prompt insieme, quindi i batch più grandi alimentano bene i core tensoriali; la decodifica genera un token alla volta ed è controllata dalla memoria, quindi si ridimensiona in modo diverso.
Sono necessari collegamenti a larghezza di banda elevata e bassa latenza come NVLink (intra-nodo) e InfiniBand (inter-nodo) in modo che il trasferimento della cache KV non diventi il nuovo collo di bottiglia.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Kserve e Model Serving su Kubernetes
Tecnico