VolgendeVolgende gids
GPU‑geheugen schatten dat nodig is voor LLM's
Technisch
Technische GIDS
High Bandwith Memory (HBM) is gestapeld geheugen dat direct naast de GPU is geplaatst en dat gegevens veel sneller levert dan gewoon RAM.
Luister naar deze gidsAI-verteld · ~2 min
Het is wat de AI-versnellers voedt en voorkomt dat de krachtige rekenkernen inactief blijven terwijl ze wachten op modelgewichten en gegevens.
HBM lost een fundamenteel knelpunt op: moderne AI-chips kunnen biljoenen bewerkingen per seconde uitvoeren, maar alleen als de gegevens snel genoeg binnenkomen. Standaard GDDR-geheugen wordt aangesloten via een relatief smalle bus, terwijl HBM meerdere DRAM-chips verticaal stapelt en deze verbindt met duizenden kleine verticale draden die through-silicium via's (TSV's) worden genoemd. Deze stapels zitten op een silicium-interposer op millimeters afstand van de GPU, waardoor een extreem breed datapad ontstaat, dat duizenden bits tegelijk kan verwerken in plaats van honderden. Het resultaat is de bandbreedte gemeten in terabytes per seconde. Generaties zijn vooruitgegaan van HBM2 naar HBM2e, HBM3 en HBM3e, waarbij zowel de capaciteit als de snelheid zijn toegenomen. Voor grote taalmodellen, waarvan de gewichten voortdurend moeten worden gestreamd, zijn HBM-capaciteit en bandbreedte vaak belangrijker dan onbewerkte rekenkracht.
Het dicht bij de GPU houden van de tientallen of honderden gigabytes aan gewichten voor een groot taalmodel, zodat ze tijdens elke gevolgtrekkingsstap kunnen worden gestreamd.
Hiermee kunnen NVIDIA H100- en H200-datacenter-GPU's meerdere terabytes per seconde aan geheugenbandbreedte bereiken voor training.
Het aandrijven van AI-trainingsclusters waarbij veel GPU's elk afhankelijk zijn van HBM om stilstand tussen matrixbewerkingen te voorkomen.
Ondersteuning van generatieve beeld- en videomodellen met hoge resolutie die grote activeringstensoren snel in en uit het geheugen moeten verplaatsen.
Geheugenbandbreedte is nu een belangrijke beperking voor AI, dus HBM maakt snel vooruitgang. HBM3e wordt geleverd in vlaggenschipversnellers, terwijl HBM4 aan de horizon bredere interfaces, grotere stapels en meer capaciteit per pakket belooft. Verwacht een nauwer co-design tussen geheugen en logica, mogelijk aangepaste basismatrijzen en processing-near-memory, plus hevige concurrentie tussen leveranciers als SK Hynix, Samsung en Micron. Naarmate de modellen groeien, blijft het steeds belangrijker worden om meer gegevens dichter bij de computer te krijgen, sneller en met een lager energieverbruik, van cruciaal belang voor de vooruitgang van AI-hardware.
Gratis nieuwsbrief
Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.
Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.
Test jezelf
Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.
Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie
High Bandwith Memory (HBM) is gestapeld geheugen dat direct naast de GPU is geplaatst en dat gegevens veel sneller levert dan gewoon RAM. Het is wat de AI-versnellers voedt en voorkomt dat de krachtige rekenkernen inactief blijven terwijl ze wachten op modelgewichten en gegevens.
AI-chips kunnen alleen biljoenen bewerkingen per seconde uitvoeren als de gegevens snel genoeg binnenkomen; HBM levert die bandbreedte, zodat cores niet uitgehongerd raken.
HBM stapelt DRAM-dies op elkaar en verbindt ze met duizenden verticale draden (TSV's), waardoor een zeer breed datapad ontstaat.
In plaats van sneller te klokken, stelt HBM een zeer brede interface bloot (1024 bits per stapel en hoger), zodat veel bytes tegelijk bewegen.
Korte draden op een gedeelde interposer verlagen de energie die nodig is per overgedragen bit en verminderen de latentie tussen geheugen en rekenkracht.
LLM-inferentie streamt voortdurend matrices met een groot gewicht, zodat geheugencapaciteit en bandbreedte vaak de beperkende factor worden in plaats van de rekendoorvoer.
Blijf leren
Er zijn meer handleidingen voor dit onderwerp geselecteerd
VolgendeVolgende gids
GPU‑geheugen schatten dat nodig is voor LLM's
Technisch