Il prossimoProssima guida
Adam e gli ottimizzatori adattivi
Tecnico
GUIDA TECNICA
Un trucco per risparmiare memoria che parcheggia la pesante contabilità dell'addestramento (stati dell'ottimizzatore, gradienti, a volte pesi) nella RAM della CPU o sugli SSD NVMe invece della scarsa memoria della GPU.
Ascolta questa guidaNarrato dall'IA · ~2 min
It lets people train far larger models than their GPU's memory would otherwise allow.
Quando si addestra una rete neurale con un ottimizzatore come Adam, ogni parametro porta con sé un bagaglio extra: due statistiche di esecuzione (momento e varianza), più una copia ad alta precisione del peso, più il suo gradiente. Nell'addestramento a precisione mista questo può ammontare a circa 16 byte per parametro, facendo impallidire i 2 byte per il peso stesso. Lo scarico sposta quel bagaglio dalla GPU. L'offload della CPU trasmette gli stati dell'ottimizzatore nella normale RAM di sistema sul bus PCIe, mentre l'offload di NVMe li spinge fino ai veloci dischi a stato solido. Resa popolare da ZeRO-Infinity e ZeRO-Offload di DeepSpeed, la tecnica scambia la velocità pura con la capacità, consentendo a una singola GPU o a un piccolo cluster di mettere a punto modelli con miliardi di parametri.
DeepSpeed’s ZeRO-Offload tutorial trains a ten-billion-parameter GPT-2 configuration on a 32 GB V100, with CPU optimizer offloading and activation checkpointing.
A research team evaluates ZeRO-Infinity with CPU and NVMe tiers for a model that exceeds GPU-only capacity.
A fine-tuning team configures CPU optimizer offloading and measures host memory use and update time.
A team compares larger GPUs with offloading, accounting for CPU, storage, and transfer costs.
Poiché i modelli continuano a superare la memoria della GPU, l'offloading a più livelli sta diventando standard piuttosto che esotico. Aspettatevi un'integrazione più stretta con interconnessioni più veloci come i pool di memoria NVLink-C2C e CXL che sfumano il confine tra CPU e GPU, oltre a pianificatori più intelligenti che prevedono quali stati precaricare. Le architetture di memoria unificata come Grace Hopper riducono la penalità PCIe e i framework stanno spingendo per rendere l'offload multilivello quasi trasparente in modo che gli hobbisti possano mettere a punto modelli di grandi dimensioni su hardware modesto.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
Un trucco per risparmiare memoria che parcheggia la pesante contabilità dell'addestramento (stati dell'ottimizzatore, gradienti, a volte pesi) nella RAM della CPU o sugli SSD NVMe invece della scarsa memoria della GPU. Consente alle persone di addestrare modelli molto più grandi di quanto la memoria della loro GPU consentirebbe altrimenti.
L'offload sposta gli stati pesanti dell'ottimizzatore dalla GPU alla RAM della CPU o a NVMe, liberando memoria della GPU in modo che i modelli più grandi possano essere addestrati sullo stesso hardware.
Each FP32 value uses four bytes: two moments plus one master weight total twelve. A sixteen-byte mixed-precision estimate includes other tensors as well.
ZeRO-Offload e ZeRO-Infinity di DeepSpeed hanno introdotto e reso popolari gli stati di ottimizzazione dell'offload su CPU e NVMe su larga scala.
Spostare gli stati fuori dalla GPU significa trasferire i dati su PCIe o su NVMe, che è più lento della memoria su GPU, quindi il throughput diminuisce a meno che non si sovrapponga al calcolo.
Gli scheduler prerecuperano le partizioni necessarie su PCIe mentre la GPU sta ancora elaborando, sovrapponendo la comunicazione con il calcolo per mascherare la latenza.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Adam e gli ottimizzatori adattivi
Tecnico