Il prossimoProssima guida
Stima della memoria GPU necessaria per i LLM
Tecnico
GUIDA TECNICA
La High Bandwidth Memory (HBM) è una memoria impilata posizionata proprio accanto alla GPU che fornisce dati molto più velocemente della normale RAM.
Ascolta questa guidaNarrato dall'IA · ~2 min
It is what keeps AI accelerators fed, preventing the powerful compute cores from sitting idle while they wait for model weights and data.
La HBM risolve un collo di bottiglia di base: i moderni chip IA possono eseguire trilioni di operazioni al secondo, ma solo se i dati arrivano abbastanza velocemente. La memoria GDDR standard si collega su un bus relativamente stretto, mentre HBM impila più die DRAM verticalmente e li collega con migliaia di minuscoli fili verticali chiamati through-silicon vias (TSV). Questi stack si trovano su un interpositore di silicio a pochi millimetri dalla GPU, fornendo un percorso dati estremamente ampio, pensa a migliaia di bit contemporaneamente anziché a centinaia. Il risultato è una larghezza di banda misurata in terabyte al secondo. Le generazioni sono passate da HBM2 a HBM2e, HBM3 e HBM3e, ciascuna aumentando sia la capacità che la velocità. Per i modelli linguistici di grandi dimensioni, i cui pesi devono essere costantemente trasmessi in streaming, la capacità e la larghezza di banda HBM spesso contano più del calcolo grezzo.
Mantenere decine o centinaia di gigabyte di peso per un modello linguistico di grandi dimensioni vicino alla GPU in modo che possano essere trasmessi in streaming durante ogni fase di inferenza.
Consente alle GPU per data center NVIDIA H100 e H200 di raggiungere più terabyte al secondo di larghezza di banda di memoria per l'addestramento.
Alimenta cluster di formazione AI in cui molte GPU si affidano ciascuna a HBM per evitare stalli tra le operazioni della matrice.
Supporta modelli di immagini e video generativi ad alta risoluzione che devono spostare rapidamente enormi tensori di attivazione dentro e fuori dalla memoria.
La larghezza di banda della memoria è ora un vincolo principale per l’intelligenza artificiale, quindi la HBM sta avanzando rapidamente. HBM3e viene distribuito in acceleratori di punta, con HBM4 all'orizzonte che promette interfacce più ampie, stack più alti e maggiore capacità per pacchetto. Aspettatevi una più stretta co-progettazione tra memoria e logica, possibilmente die di base personalizzati ed elaborazione quasi memoria, oltre a una forte concorrenza tra fornitori come SK hynix, Samsung e Micron. Man mano che i modelli crescono, avvicinare più dati all’elaborazione, più velocemente e con un consumo energetico inferiore, rimane fondamentale per il progresso dell’hardware AI.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
La High Bandwidth Memory (HBM) è una memoria impilata posizionata proprio accanto alla GPU che fornisce dati molto più velocemente della normale RAM. È ciò che mantiene alimentati gli acceleratori di intelligenza artificiale, impedendo ai potenti core di elaborazione di rimanere inattivi mentre attendono pesi e dati del modello.
I chip AI possono eseguire trilioni di operazioni al secondo solo se i dati arrivano abbastanza velocemente; La HBM fornisce quella larghezza di banda in modo che i core non vengano affamati.
La HBM impila i die DRAM uno sopra l'altro e li collega con migliaia di cavi verticali (TSV), creando un percorso dati molto ampio.
Invece di clockare più velocemente, HBM espone un'interfaccia molto ampia (1024 bit per stack e oltre) così tanti byte vengono spostati contemporaneamente.
I cavi corti su un interposer condiviso riducono l'energia necessaria per bit trasferito e riducono la latenza tra memoria ed elaborazione.
L'inferenza LLM trasmette continuamente matrici di peso di grandi dimensioni, quindi la capacità di memoria e la larghezza di banda spesso diventano il fattore limitante piuttosto che la velocità effettiva di calcolo.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Stima della memoria GPU necessaria per i LLM
Tecnico