Il prossimoProssima guida
Parallelismo del modello e della pipeline
Tecnico
GUIDA TECNICA
Un modo per suddividere i calcoli all'interno di un singolo livello di rete neurale su più GPU in modo che un modello troppo grande per un dispositivo possa ancora essere eseguito.
Ascolta questa guidaNarrato dall'IA · ~2 min
È importante perché i modelli di frontiera hanno centinaia di miliardi di parametri che nessuna singola GPU può contenere o calcolare abbastanza velocemente da sola.
Il parallelismo tensore (chiamato anche parallelismo del modello intra-strato) suddivide le singole matrici di peso tra le GPU anziché inserire interi strati su dispositivi separati. In un trasformatore, le moltiplicazioni della matrice grande (proiezioni di attenzione e MLP feed-forward) sono divise: ad esempio, la prima matrice del peso dell'MLP è partizionata per colonne e la seconda per righe, quindi ciascuna GPU calcola una fetta e una singola riduzione totale combina i risultati. L'attenzione è divisa tra le teste, con ciascuna GPU che gestisce un sottoinsieme. Poiché ogni GPU fa parte di ogni livello simultaneamente, il parallelismo tensore riduce la memoria per GPU e accelera il calcolo, ma richiede comunicazioni frequenti e con larghezza di banda elevata tra le GPU di ciascun livello. Ecco perché di solito è confinato all'interno di un nodo connesso da NVLink e combinato con il parallelismo di pipeline e dati per lavori di formazione e servizio di grandi dimensioni.
Addestramento di un modello con parametri 175B suddividendo le matrici di peso di ogni livello su 8 GPU in un nodo connesso a NVLink utilizzando Megatron-LM.
Fornire un modello di chat con parametri 70B in vLLM con tensor_parallel_size=4 in modo che i pesi si adattino a quattro GPU e rispondano in tempo reale.
Suddividere l'attenzione del trasformatore tra le GPU in modo che ogni dispositivo calcoli un sottoinsieme, quindi concatena gli output per il livello successivo.
Combinazione del parallelismo del tensore all'interno dei nodi e del parallelismo della pipeline tra i nodi per addestrare modelli da trilioni di parametri su cluster GPU di grandi dimensioni.
Il parallelismo tensore rimane fondamentale, ma viene sempre più fuso nel "parallelismo 3D" (tensore + pipeline + dati) e combinato con il parallelismo esperto per i modelli Mixture-of-Experts. Framework come Megatron-LM, DeepSpeed e vLLM automatizzano lo sharding. Man mano che le interconnessioni GPU (NVLink, NVSwitch) e i tessuti ottici diventano più veloci, il limite del confine del nodo si allenta, consentendo gruppi tensoriali paralleli più ampi. Aspettatevi una parallelizzazione automatica più intelligente che scelga le dimensioni degli shard e quelle dei gruppi per ridurre al minimo la comunicazione per una determinata topologia del cluster.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
Un modo per suddividere i calcoli all'interno di un singolo livello di rete neurale su più GPU in modo che un modello troppo grande per un dispositivo possa ancora essere eseguito. È importante perché i modelli di frontiera hanno centinaia di miliardi di parametri che nessuna singola GPU può contenere o calcolare abbastanza velocemente da sola.
Il parallelismo del tensore (intra-strato) frammenta le matrici dei pesi all'interno di uno strato, quindi ogni GPU calcola parte dello stesso strato, distinto dal parallelismo della pipeline, che posiziona interi strati su GPU diverse.
La divisione della prima matrice per colonne consente a ciascuna GPU di applicare la non linearità localmente; dividere il secondo per righe significa che un'unica riduzione totale somma gli output parziali, riducendo al minimo la sincronizzazione.
Ogni livello attiva la comunicazione collettiva (riduzione totale), quindi il traffico pesante e sensibile alla latenza richiede collegamenti intra-nodo veloci come NVLink piuttosto che reti inter-nodo più lente.
Le teste di attenzione sono indipendenti, quindi sono distribuite tra le GPU: ciascun dispositivo calcola alcune teste e gli output vengono combinati.
All-reduce somma gli output parziali calcolati su ciascuna GPU in modo che concordino sul risultato del layer; questo accade più volte per strato nei passaggi avanti e indietro.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Parallelismo del modello e della pipeline
Tecnico