Geheugen met hoge bandbreedte
High Bandwith Memory (HBM) is gestapeld geheugen dat direct naast de GPU is geplaatst en dat gegevens veel sneller levert dan gewoon RAM.
Overzicht
It is what keeps AI accelerators fed, preventing the powerful compute cores from sitting idle while they wait for model weights and data.
Diepe duik
HBM lost een fundamenteel knelpunt op: moderne AI-chips kunnen biljoenen bewerkingen per seconde uitvoeren, maar alleen als de gegevens snel genoeg binnenkomen. Standaard GDDR-geheugen wordt aangesloten via een relatief smalle bus, terwijl HBM meerdere DRAM-chips verticaal stapelt en deze verbindt met duizenden kleine verticale draden die through-silicium via's (TSV's) worden genoemd. Deze stapels zitten op een silicium-interposer op millimeters afstand van de GPU, waardoor een extreem breed datapad ontstaat, dat duizenden bits tegelijk kan verwerken in plaats van honderden. Het resultaat is de bandbreedte gemeten in terabytes per seconde. Generaties zijn vooruitgegaan van HBM2 naar HBM2e, HBM3 en HBM3e, waarbij zowel de capaciteit als de snelheid zijn toegenomen. Voor grote taalmodellen, waarvan de gewichten voortdurend moeten worden gestreamd, zijn HBM-capaciteit en bandbreedte vaak belangrijker dan onbewerkte rekenkracht.
Technisch inzicht
HBM bereikt zijn snelheid door extreem parallellisme in plaats van door hogere kloksnelheden. Door DRAM-chips te stapelen en ze te koppelen aan duizenden TSV's, wordt een zeer brede interface blootgelegd (1024 bits per stapel en hoger), waardoor veel bytes tegelijkertijd bewegen. Door de stapels op een gedeelde interposer naast de GPU te plaatsen, blijven de draden kort, waardoor het vermogen per bit en de latentie worden verminderd. Een enkele accelerator zoals een NVIDIA H100 of H200 koppelt verschillende HBM-stacks om meerdere terabytes per seconde aan totale geheugenbandbreedte te bereiken.
Strategische impact
Cost and budget
Architectuurbeslissingen bepalen jarenlang de prestaties en bedrijfskosten.
Clearer decisions
Technisch onderwijs helpt teams bij het kiezen van de juiste stapel, niet alleen de nieuwste.
Quality control
Betere technische keuzes verminderen het aantal betrouwbaarheidsincidenten in de productie.
De toekomst van geheugen met hoge bandbreedte
Geheugenbandbreedte is nu een belangrijke beperking voor AI, dus HBM maakt snel vooruitgang. HBM3e wordt geleverd in vlaggenschipversnellers, terwijl HBM4 aan de horizon bredere interfaces, grotere stapels en meer capaciteit per pakket belooft. Verwacht een nauwer co-design tussen geheugen en logica, mogelijk aangepaste basismatrijzen en processing-near-memory, plus hevige concurrentie tussen leveranciers als SK Hynix, Samsung en Micron. Naarmate de modellen groeien, blijft het steeds belangrijker worden om meer gegevens dichter bij de computer te krijgen, sneller en met een lager energieverbruik, van cruciaal belang voor de vooruitgang van AI-hardware.
Implementatie in de echte wereld
Het dicht bij de GPU houden van de tientallen of honderden gigabytes aan gewichten voor een groot taalmodel, zodat ze tijdens elke gevolgtrekkingsstap kunnen worden gestreamd.
Hiermee kunnen NVIDIA H100- en H200-datacenter-GPU's meerdere terabytes per seconde aan geheugenbandbreedte bereiken voor training.
Het aandrijven van AI-trainingsclusters waarbij veel GPU's elk afhankelijk zijn van HBM om stilstand tussen matrixbewerkingen te voorkomen.
Ondersteuning van generatieve beeld- en videomodellen met hoge resolutie die grote activeringstensoren snel in en uit het geheugen moeten verplaatsen.
Risico's en vangrails
Het optimaliseren van één benchmark kan bredere systeemzwakheden verbergen.
Infrastructuur- en onderhoudskosten worden vaak onderschat.
De lacunes op het gebied van beveiliging en waarneembaarheid kunnen groter worden naarmate systemen complexer worden.
Implementatie routekaart
Definieer latentie-, kwaliteits- en kostendoelen vóór implementatie.
Benchmark onder realistische belasting- en gegevensomstandigheden.
Instrumentbewaking op fouten, drift en gebruikersimpact.
Bereid rollback- en incidentresponspaden voor voordat u gaat schalen.
Blijf verkennen
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the High Bandwidth Memory quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
GPU-geheugenbeheer en fragmentatie
Frequently asked questions
What is High Bandwidth Memory?
High Bandwith Memory (HBM) is gestapeld geheugen dat direct naast de GPU is geplaatst en dat gegevens veel sneller levert dan gewoon RAM. Het is wat de AI-versnellers voedt en voorkomt dat de krachtige rekenkernen inactief blijven terwijl ze wachten op modelgewichten en gegevens.
Welk voornaamste probleem lost High Bandwith Memory op voor AI-versnellers?
AI-chips kunnen alleen biljoenen bewerkingen per seconde uitvoeren als de gegevens snel genoeg binnenkomen; HBM levert die bandbreedte, zodat cores niet uitgehongerd raken.
Hoe is HBM fysiek anders gebouwd dan gewoon GDDR-geheugen?
HBM stapelt DRAM-dies op elkaar en verbindt ze met duizenden verticale draden (TSV's), waardoor een zeer breed datapad ontstaat.
Waar vertrouwt HBM voornamelijk op om zijn hoge bandbreedte te bereiken?
In plaats van sneller te klokken, stelt HBM een zeer brede interface bloot (1024 bits per stapel en hoger), zodat veel bytes tegelijk bewegen.
Waarom worden HBM-stacks op een siliciuminterposer direct naast de GPU geplaatst?
Korte draden op een gedeelde interposer verlagen de energie die nodig is per overgedragen bit en verminderen de latentie tussen geheugen en rekenkracht.
Waarom kan HBM specifiek voor grote taalmodellen net zo belangrijk zijn als onbewerkte rekenkracht?
LLM-inferentie streamt voortdurend matrices met een groot gewicht, zodat geheugencapaciteit en bandbreedte vaak de beperkende factor worden in plaats van de rekendoorvoer.