Quiz lié à un guide · Moyen Niveau

Quiz sur la mémoire à bande passante élevée

Vérifie l'empilement HBM, les TSV, les interfaces larges, la bande passante par rapport à la capacité et la génération HBM4 actuelle aux côtés des versions antérieures.

Chemins de guidage associésMémoire à bande passante élevée
Question 1 de 8

Quel problème principal la mémoire à large bande passante résout-elle pour les accélérateurs d’IA ?

Prévisualisez chaque question8 des questions

Les réponses et les explications apparaissent au fur et à mesure que vous répondez au quiz.

  1. Quel problème principal la mémoire à large bande passante résout-elle pour les accélérateurs d’IA ?
    • Cœurs de calcul inactifs en attendant l’arrivée des données
    • Les GPU surchauffent à cause de trop de lumière
    • Stockage permanent des fichiers lorsque l'alimentation est coupée
    • Connecter le GPU à Internet
  2. En quoi la mémoire HBM est-elle physiquement construite différemment de la mémoire GDDR ordinaire ?
    • Il est stocké sur un disque dur
    • Il empile plusieurs matrices DRAM verticalement et les connecte avec des vias traversants en silicium.
    • Il utilise des câbles à fibres optiques à l'intérieur de la puce
    • Il n'a pas de transistors
  3. Sur quoi HBM s’appuie-t-il principalement pour atteindre sa bande passante élevée ?
    • Des vitesses d'horloge beaucoup plus élevées que n'importe quelle autre mémoire
    • Refroidissement à l'azote liquide
    • Parallélisme extrême grâce à une interface très large
    • Compresser toutes les données en un seul bit
  4. Pourquoi les piles HBM sont-elles placées sur un interposeur en silicium juste à côté du GPU ?
    • Pour rendre le colis plus beau
    • Parce que HBM ne peut pas travailler à plus d'un mètre
    • Pour permettre un retrait facile par l'utilisateur
    • Pour garder les fils courts, réduisant ainsi la puissance par bit et la latence
  5. Pour les grands modèles de langage en particulier, pourquoi le HBM peut-il être aussi important que le calcul brut ?
    • Parce que les pondérations des modèles doivent être diffusées en continu, ce qui exige une capacité et une bande passante élevées
    • Parce que les modèles ne font aucun calcul
    • Parce que le calcul est gratuit mais la mémoire est sollicitée
    • Parce que les LLM n'utilisent que le CPU
  6. Which HBM generations are part of the progression from HBM2 to currently sampling HBM4 products?
    • HBM2, HBM2E, HBM4E, then HBM3
    • HBM2, HBM2E, HBM3, HBM3E, and HBM4
    • GDDR6, GDDR7, DDR5, and HBM4
    • HBM3E directly followed by HBM1
  7. Why can high HBM bandwidth help an autoregressive language model during token generation?
    • It eliminates the need to store model weights
    • It performs tokenization instead of the GPU
    • It can move model weights and other data to the compute units more quickly
    • It makes every model compute-bound
  8. What is the difference between HBM capacity and HBM bandwidth?
    • They are identical measures of GPU clock speed
    • Capacity measures transfer speed and bandwidth measures data size
    • Neither is related to memory
    • Capacity is how much data can be stored; bandwidth is how quickly data can be transferred