Gids-gekoppelde quiz · Middelmatig Niveau

Geheugenquiz met hoge bandbreedte

Controleert HBM-stacking, TSV's, brede interfaces, bandbreedte versus capaciteit, en de huidige HBM4-generatie naast eerdere versies.

Gerelateerde gidspadenGeheugen met hoge bandbreedte
Vraag 1 van 8

Welk voornaamste probleem lost High Bandwith Memory op voor AI-versnellers?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Welk voornaamste probleem lost High Bandwith Memory op voor AI-versnellers?
    • Compute-cores blijven inactief terwijl ze wachten op gegevens
    • GPU's raken oververhit door te veel licht
    • Bestanden permanent opslaan als de stroom is uitgeschakeld
    • De GPU verbinden met internet
  2. Hoe is HBM fysiek anders gebouwd dan gewoon GDDR-geheugen?
    • Het wordt opgeslagen op een harde schijf
    • Het stapelt meerdere DRAM-matrijzen verticaal en verbindt ze met siliconenvia's
    • Het maakt gebruik van glasvezelkabels in de chip
    • Er zitten geen transistoren in
  3. Waar vertrouwt HBM voornamelijk op om zijn hoge bandbreedte te bereiken?
    • Veel hogere kloksnelheden dan enig ander geheugen
    • Koeling met vloeibare stikstof
    • Extreem parallellisme via een zeer brede interface
    • Het comprimeren van alle gegevens tot één bit
  4. Waarom worden HBM-stacks op een siliciuminterposer direct naast de GPU geplaatst?
    • Om het pakket er beter uit te laten zien
    • Want HBM kan niet verder dan een meter afstand werken
    • Om gemakkelijke verwijdering door de gebruiker mogelijk te maken
    • Om de draden kort te houden, waardoor het vermogen per bit en de latentie worden verminderd
  5. Waarom kan HBM specifiek voor grote taalmodellen net zo belangrijk zijn als onbewerkte rekenkracht?
    • Omdat modelgewichten constant moeten worden gestreamd, wat een hoge capaciteit en bandbreedte vereist
    • Omdat modellen helemaal geen wiskunde doen
    • Omdat rekenkracht gratis is, maar geheugen wordt belast
    • Omdat LLM's alleen de CPU gebruiken
  6. Which HBM generations are part of the progression from HBM2 to currently sampling HBM4 products?
    • HBM2, HBM2E, HBM4E, then HBM3
    • HBM2, HBM2E, HBM3, HBM3E, and HBM4
    • GDDR6, GDDR7, DDR5, and HBM4
    • HBM3E directly followed by HBM1
  7. Why can high HBM bandwidth help an autoregressive language model during token generation?
    • It eliminates the need to store model weights
    • It performs tokenization instead of the GPU
    • It can move model weights and other data to the compute units more quickly
    • It makes every model compute-bound
  8. What is the difference between HBM capacity and HBM bandwidth?
    • They are identical measures of GPU clock speed
    • Capacity measures transfer speed and bandwidth measures data size
    • Neither is related to memory
    • Capacity is how much data can be stored; bandwidth is how quickly data can be transferred