Il prossimoProssima guida
Parallelismo tensoriale per modelli di grandi dimensioni
Tecnico
GUIDA TECNICA
Quando un modello è troppo grande per essere contenuto in una GPU, il parallelismo del modello e della pipeline suddivide il modello stesso tra i dispositivi.
Ascolta questa guidaNarrato dall'IA · ~2 min
Questo è ciò che rende fisicamente possibile l'addestramento di enormi modelli linguistici con centinaia di miliardi di parametri.
Il parallelismo dei modelli suddivide un singolo modello tra più GPU in modo che nessun dispositivo debba sostenere tutti i pesi. Ci sono due sapori principali. Il parallelismo del tensore (intra-strato) suddivide i calcoli all'interno di uno strato, ad esempio suddividendo una grande moltiplicazione di matrici tra le GPU, ciascuna delle quali calcola una parte dell'output. Il parallelismo della pipeline (interstrato) assegna diversi strati consecutivi a diverse GPU, quindi il blocco del livello 1 risiede sulla GPU 0, il blocco 2 sulla GPU 1 e così via, con le attivazioni passate come una catena di montaggio. La sfida con il pipeline ingenuo è la "bolla": mentre la GPU 0 funziona sul primo batch, le GPU a valle restano inattive. Il pipeline suddivide ogni lotto in micro-lotti in modo che tutte le fasi rimangano occupate, migliorando notevolmente l'utilizzo.
Addestramento di modelli in stile GPT con NVIDIA Megatron-LM, che divide l'attenzione di ogni strato del trasformatore e le matrici feed-forward tra le GPU tramite il parallelismo del tensore.
Usare GPipe per posizionare diversi strati di una visione gigante o di un modello linguistico su acceleratori separati mentre il micro-batching li tiene occupati.
Il motore di pipeline di DeepSpeed suddivide un modello da centinaia di miliardi di parametri in fasi su molti nodi.
Combinando il parallelismo del tensore all'interno di un singolo server da 8 GPU con il parallelismo della pipeline che si estende su più server per addestrare un modello troppo grande per una macchina.
I framework automatizzano sempre più il difficile problema di decidere come suddividere un modello tra dispositivi, utilizzando la profilazione e la ricerca per bilanciare elaborazione e comunicazione. Ci si aspetta una più stretta integrazione di tensore, pipeline e parallelismo dei dati (parallelismo 3D), una pianificazione micro-batch più intelligente per eliminare quasi le bolle della pipeline e hardware con interconnessioni più veloci in modo che la suddivisione di un singolo strato tra chip diventi più economica e più routine per modelli sempre più grandi.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
Quando un modello è troppo grande per essere contenuto in una GPU, il parallelismo del modello e della pipeline suddivide il modello stesso tra i dispositivi. Questo è ciò che rende fisicamente possibile l’addestramento di modelli linguistici giganteschi con centinaia di miliardi di parametri.
Il parallelismo del modello e della pipeline suddivide il modello stesso tra i dispositivi, consentendo l'addestramento di reti molto più grandi di quanto una singola GPU potrebbe contenere.
Il parallelismo tensore divide il calcolo all'interno di un singolo livello, ad esempio suddividendo una matrice di peso di grandi dimensioni in modo che ciascuna GPU calcoli parte dell'output.
All'inizio di una fase della pipeline, le fasi downstream non hanno ancora ricevuto input e rimangono inattive, facendo sprecare tempo alla GPU; questo divario inattivo è chiamato bolla.
La divisione di un batch in micro-batch consente a più micro-batch di occupare diverse fasi contemporaneamente, mantenendo tutte le GPU occupate e riducendo i tempi di inattività.
Il parallelismo del tensore comunica frequentemente per ricombinare i risultati della matrice parziale, quindi viene posizionato dove la larghezza di banda di interconnessione è massima, all'interno di un nodo su NVLink.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Parallelismo tensoriale per modelli di grandi dimensioni
Tecnico