Il prossimoProssima guida
Stima della memoria GPU necessaria per i LLM
Tecnico
GUIDA TECNICA
In che modo i framework AI allocano, riutilizzano e recuperano la memoria limitata su una GPU e perché i gap rimanenti (frammentazione) possono causare errori di memoria insufficiente anche quando tecnicamente rimane molta memoria.
Ascolta questa guidaNarrato dall'IA · ~2 min
Comprenderlo è fondamentale per adattare modelli di grandi dimensioni ed evitare incidenti misteriosi.
La memoria della GPU è fissa e preziosa: una scheda può avere 24, 80 o 192 GB in totale, condivisi da pesi del modello, attivazioni, gradienti, stati dell'ottimizzatore e buffer temporanei. Chiamare il driver per allocare memoria su ogni operazione sarebbe lento, quindi framework come PyTorch utilizzano un allocatore di cache che cattura grandi blocchi in primo piano e distribuisce sottopezzi, quindi mantiene i pezzi liberati in un pool per il riutilizzo. Il problema è la frammentazione: man mano che tensori di varie dimensioni vengono allocati e liberati, lo spazio libero si rompe in pezzi sparsi. È possibile avere 5 GB liberi in totale ma non riuscire ad allocare un tensore contiguo da 2 GB perché nessun singolo spazio vuoto è abbastanza grande. Questo è il motivo per cui l'addestramento può bloccarsi a causa di errori di memoria insufficiente nonostante l'headroom apparentemente disponibile.
A training team examines allocator statistics before testing expandable segments on a variable-batch workload.
A developer uses memory_summary and a memory snapshot to investigate active tensors and inactive split blocks.
An inference team uses vLLM’s paged KV-cache management to reduce cache-allocation waste.
A training team lowers batch size or checkpoints activations after confirming live tensor memory is the limiting factor.
La gestione della memoria sta diventando più intelligente e più impaginata, ispirandosi ai sistemi operativi. Tecniche come gli allocatori in stile memoria virtuale e l'attenzione paginata (utilizzata per gestire la cache KV durante l'inferenza) riducono drasticamente gli sprechi e la frammentazione. Ci si aspetta che i framework utilizzino allocatori espandibili e deframmentanti per impostazione predefinita, una migliore visibilità tramite profiler integrati e un accoppiamento più stretto con offload e ricalcolo in modo che il sistema si destreggi automaticamente tra GPU, CPU e memoria del disco per mantenere elevato l'utilizzo e raramente si verificano arresti anomali.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
In che modo i framework AI allocano, riutilizzano e recuperano la memoria limitata su una GPU e perché i gap rimanenti (frammentazione) possono causare errori di memoria insufficiente anche quando tecnicamente rimane molta memoria. Comprenderlo è fondamentale per adattare modelli di grandi dimensioni ed evitare incidenti misteriosi.
Frammentazione significa che la memoria totale libera è sufficiente, ma è suddivisa in pezzi, quindi nessun singolo spazio vuoto è abbastanza grande per un grande tensore.
Chiamare cudaMalloc/cudaFree per ogni operazione è lento, quindi l'allocatore della cache prende grandi blocchi e riutilizza quelli liberati da un pool.
Allocator statistics and snapshots help distinguish fragmentation from live tensors or other allocations. The error alone does not prove a single cause.
Expandable segments can reduce waste for selected allocation patterns. Availability and benefit depend on allocator configuration and workload.
PagedAttention archivia la cache KV in pagine di dimensione fissa come la memoria virtuale del sistema operativo, riducendo la frammentazione e soddisfacendo molte richieste in modo efficiente.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Stima della memoria GPU necessaria per i LLM
Tecnico