Kvíz spojený s průvodcem · Střední úroveň

Kvíz s velkou šířkou pásma

Kontroluje HBM stacking, TSV, široká rozhraní, šířku pásma versus kapacitu a aktuální generaci HBM4 spolu s dřívějšími verzemi.

Související vodicí cestyPaměť s vysokou šířkou pásma
Otázka 1 z 8

Jaký primární problém řeší High Bandwidth Memory pro AI akcelerátory?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Jaký primární problém řeší High Bandwidth Memory pro AI akcelerátory?
    • Výpočetní jádra nečinná při čekání na příchod dat
    • GPU se přehřívají přílišným světlem
    • Trvalé ukládání souborů při vypnutém napájení
    • Připojení GPU k internetu
  2. Jak se HBM fyzicky liší od běžné paměti GDDR?
    • Je uložen na pevném disku
    • Vertikálně naskládá několik zápustek DRAM a propojí je pomocí křemíkových průchodů
    • Používá optické kabely uvnitř čipu
    • Nemá žádné tranzistory
  3. Na co se HBM spoléhá hlavně při dosahování vysoké šířky pásma?
    • Mnohem vyšší frekvence hodin než jakákoli jiná paměť
    • Chlazení kapalným dusíkem
    • Extrémní paralelismus prostřednictvím velmi širokého rozhraní
    • Komprimace všech dat do jednoho bitu
  4. Proč jsou zásobníky HBM umístěny na silikonovém interposeru hned vedle GPU?
    • Aby balíček vypadal lépe
    • Protože HBM nemůže fungovat dál než na metr
    • Pro snadné odstranění uživatelem
    • Aby byly vodiče krátké, snižuje se výkon na bit a latence
  5. Proč konkrétně u velkých jazykových modelů může být HBM tak důležitý jako nezpracovaný výpočet?
    • Protože modelové váhy musí být neustále streamovány, což vyžaduje vysokou kapacitu a šířku pásma
    • Protože modely vůbec nepočítají
    • Protože výpočet je zdarma, ale paměť je zdaněna
    • Protože LLM využívají pouze CPU
  6. Which HBM generations are part of the progression from HBM2 to currently sampling HBM4 products?
    • HBM2, HBM2E, HBM4E, then HBM3
    • HBM2, HBM2E, HBM3, HBM3E, and HBM4
    • GDDR6, GDDR7, DDR5, and HBM4
    • HBM3E directly followed by HBM1
  7. Why can high HBM bandwidth help an autoregressive language model during token generation?
    • It eliminates the need to store model weights
    • It performs tokenization instead of the GPU
    • It can move model weights and other data to the compute units more quickly
    • It makes every model compute-bound
  8. What is the difference between HBM capacity and HBM bandwidth?
    • They are identical measures of GPU clock speed
    • Capacity measures transfer speed and bandwidth measures data size
    • Neither is related to memory
    • Capacity is how much data can be stored; bandwidth is how quickly data can be transferred