Kuis terkait panduan · Sedang Tingkat

Kuis Memori Bandwidth Tinggi

Memeriksa penumpukan HBM, TSV, antarmuka lebar, bandwidth versus kapasitas, dan generasi HBM4 saat ini bersama dengan versi sebelumnya.

Jalur panduan terkaitMemori Bandwidth Tinggi
Pertanyaan 1 dari 8

Masalah utama apa yang diatasi oleh Memori Bandwidth Tinggi untuk akselerator AI?

Pratinjau setiap pertanyaan8 pertanyaan

Jawaban dan penjelasan muncul saat Anda mengikuti kuis.

  1. Masalah utama apa yang diatasi oleh Memori Bandwidth Tinggi untuk akselerator AI?
    • Inti komputasi tidak digunakan sambil menunggu data tiba
    • GPU terlalu panas karena terlalu banyak cahaya
    • Menyimpan file secara permanen saat listrik mati
    • Menghubungkan GPU ke internet
  2. Bagaimana HBM dibuat secara fisik berbeda dari memori GDDR biasa?
    • Itu disimpan di hard drive
    • Ini menumpuk beberapa DRAM mati secara vertikal dan menghubungkannya dengan vias silikon
    • Ia menggunakan kabel serat optik di dalam chip
    • Ia tidak memiliki transistor
  3. Apa yang terutama diandalkan oleh HBM untuk mencapai bandwidth tinggi?
    • Kecepatan clock yang jauh lebih tinggi dibandingkan memori lainnya
    • Pendinginan dengan nitrogen cair
    • Paralelisme ekstrim melalui antarmuka yang sangat luas
    • Mengompresi semua data menjadi satu bit
  4. Mengapa tumpukan HBM ditempatkan pada interposer silikon tepat di sebelah GPU?
    • Untuk membuat paket terlihat lebih baik
    • Karena HBM tidak bisa bekerja lebih dari satu meter
    • Untuk memudahkan penghapusan oleh pengguna
    • Untuk menjaga agar kabel tetap pendek, mengurangi daya per bit dan latensi
  5. Khususnya untuk model bahasa besar, mengapa HBM sama pentingnya dengan komputasi mentah?
    • Karena bobot model harus dialirkan secara konstan, menuntut kapasitas dan bandwidth yang tinggi
    • Karena model tidak melakukan perhitungan sama sekali
    • Karena komputasi itu gratis tetapi memori dikenai pajak
    • Karena LLM hanya menggunakan CPU
  6. Which HBM generations are part of the progression from HBM2 to currently sampling HBM4 products?
    • HBM2, HBM2E, HBM4E, then HBM3
    • HBM2, HBM2E, HBM3, HBM3E, and HBM4
    • GDDR6, GDDR7, DDR5, and HBM4
    • HBM3E directly followed by HBM1
  7. Why can high HBM bandwidth help an autoregressive language model during token generation?
    • It eliminates the need to store model weights
    • It performs tokenization instead of the GPU
    • It can move model weights and other data to the compute units more quickly
    • It makes every model compute-bound
  8. What is the difference between HBM capacity and HBM bandwidth?
    • They are identical measures of GPU clock speed
    • Capacity measures transfer speed and bandwidth measures data size
    • Neither is related to memory
    • Capacity is how much data can be stored; bandwidth is how quickly data can be transferred