GUIDA TECNICA

Parallelismo tensoriale per modelli di grandi dimensioni

Un modo per suddividere i calcoli all'interno di un singolo livello di rete neurale su più GPU in modo che un modello troppo grande per un dispositivo possa ancora essere eseguito.

Ascolta questa guidaNarrato dall'IA · ~2 min

In questa pagina2 minuti di lettura
  1. Panoramica
  2. Immersione profonda
  3. Implementazione nel mondo reale
  4. Il futuro del parallelismo tensoriale per modelli di grandi dimensioni
  5. Metterlo in pratica
  6. Continua a esplorare
  7. Domande frequenti

Panoramica

È importante perché i modelli di frontiera hanno centinaia di miliardi di parametri che nessuna singola GPU può contenere o calcolare abbastanza velocemente da sola.

Immersione profonda

Il parallelismo tensore (chiamato anche parallelismo del modello intra-strato) suddivide le singole matrici di peso tra le GPU anziché inserire interi strati su dispositivi separati. In un trasformatore, le moltiplicazioni della matrice grande (proiezioni di attenzione e MLP feed-forward) sono divise: ad esempio, la prima matrice del peso dell'MLP è partizionata per colonne e la seconda per righe, quindi ciascuna GPU calcola una fetta e una singola riduzione totale combina i risultati. L'attenzione è divisa tra le teste, con ciascuna GPU che gestisce un sottoinsieme. Poiché ogni GPU fa parte di ogni livello simultaneamente, il parallelismo tensore riduce la memoria per GPU e accelera il calcolo, ma richiede comunicazioni frequenti e con larghezza di banda elevata tra le GPU di ciascun livello. Ecco perché di solito è confinato all'interno di un nodo connesso da NVLink e combinato con il parallelismo di pipeline e dati per lavori di formazione e servizio di grandi dimensioni.

Implementazione nel mondo reale

Addestramento di un modello con parametri 175B suddividendo le matrici di peso di ogni livello su 8 GPU in un nodo connesso a NVLink utilizzando Megatron-LM.

Fornire un modello di chat con parametri 70B in vLLM con tensor_parallel_size=4 in modo che i pesi si adattino a quattro GPU e rispondano in tempo reale.

Suddividere l'attenzione del trasformatore tra le GPU in modo che ogni dispositivo calcoli un sottoinsieme, quindi concatena gli output per il livello successivo.

Combinazione del parallelismo del tensore all'interno dei nodi e del parallelismo della pipeline tra i nodi per addestrare modelli da trilioni di parametri su cluster GPU di grandi dimensioni.

Il futuro del parallelismo tensoriale per modelli di grandi dimensioni

Il parallelismo tensore rimane fondamentale, ma viene sempre più fuso nel "parallelismo 3D" (tensore + pipeline + dati) e combinato con il parallelismo esperto per i modelli Mixture-of-Experts. Framework come Megatron-LM, DeepSpeed ​​e vLLM automatizzano lo sharding. Man mano che le interconnessioni GPU (NVLink, NVSwitch) e i tessuti ottici diventano più veloci, il limite del confine del nodo si allenta, consentendo gruppi tensoriali paralleli più ampi. Aspettatevi una parallelizzazione automatica più intelligente che scelga le dimensioni degli shard e quelle dei gruppi per ridurre al minimo la comunicazione per una determinata topologia del cluster.

Metterlo in pratica

Perché è importante

  • Costo e budget. Le decisioni relative all'architettura determinano prestazioni e costi operativi per anni.
  • Decisioni più chiare. La formazione tecnica aiuta i team a scegliere lo stack giusto, non solo quello più nuovo.
  • Controllo di qualità. Migliori scelte ingegneristiche riducono gli incidenti legati all’affidabilità nella produzione.

Attenzione

  • L'ottimizzazione di un benchmark può nascondere debolezze di sistema più ampie.
  • I costi delle infrastrutture e della manutenzione sono spesso sottostimati.
  • Le lacune in termini di sicurezza e osservabilità possono aumentare man mano che i sistemi diventano più complessi.

Prossimi passi

  1. Definire obiettivi di latenza, qualità e costi prima dell'implementazione.
  2. Benchmark in condizioni di carico e dati realistiche.
  3. Monitoraggio dello strumento per errori, deriva e impatto sull'utente.
  4. Preparare percorsi di rollback e risposta agli incidenti prima della scalabilità.

Continua a esplorare

Newsletter gratuita

Ricevi il briefing quotidiano sull'IA

Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.

Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.

Mettiti alla prova

Take the Tensor Parallelism for Large Models quiz

Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.

Inizia il quiz

Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione

Domande frequenti

Cos'è il parallelismo tensoriale per i modelli di grandi dimensioni?

Un modo per suddividere i calcoli all'interno di un singolo livello di rete neurale su più GPU in modo che un modello troppo grande per un dispositivo possa ancora essere eseguito. È importante perché i modelli di frontiera hanno centinaia di miliardi di parametri che nessuna singola GPU può contenere o calcolare abbastanza velocemente da sola.

Cosa viene suddiviso il parallelismo tensoriale tra le GPU?

Il parallelismo del tensore (intra-strato) frammenta le matrici dei pesi all'interno di uno strato, quindi ogni GPU calcola parte dello stesso strato, distinto dal parallelismo della pipeline, che posiziona interi strati su GPU diverse.

Nella suddivisione MLP in stile Megatron, come vengono suddivise le due matrici di peso per ridurre al minimo la comunicazione?

La divisione della prima matrice per colonne consente a ciascuna GPU di applicare la non linearità localmente; dividere il secondo per righe significa che un'unica riduzione totale somma gli output parziali, riducendo al minimo la sincronizzazione.

Perché il parallelismo tensoriale viene solitamente mantenuto all'interno di un singolo nodo?

Ogni livello attiva la comunicazione collettiva (riduzione totale), quindi il traffico pesante e sensibile alla latenza richiede collegamenti intra-nodo veloci come NVLink piuttosto che reti inter-nodo più lente.

Come viene tipicamente parallelizzato il meccanismo dell'attenzione sotto il parallelismo tensoriale?

Le teste di attenzione sono indipendenti, quindi sono distribuite tra le GPU: ciascun dispositivo calcola alcune teste e gli output vengono combinati.

Quale operazione collettiva combina comunemente risultati parziali nel parallelismo tensoriale?

All-reduce somma gli output parziali calcolati su ciascuna GPU in modo che concordino sul risultato del layer; questo accade più volte per strato nei passaggi avanti e indietro.