แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ

แบบทดสอบหน่วยความจำแบนด์วิธสูง

ตรวจสอบการซ้อน HBM, TSV, อินเทอร์เฟซแบบกว้าง, แบนด์วิดท์เทียบกับความจุ และรุ่น HBM4 ปัจจุบันควบคู่ไปกับเวอร์ชันก่อนหน้า

เส้นทางแนะนำที่เกี่ยวข้องหน่วยความจำแบนด์วิธสูง
คำถาม 1 ของ 8

ปัญหาหลักที่หน่วยความจำแบนด์วิธสูงระบุถึงปัญหาหลักสำหรับตัวเร่งความเร็ว AI คืออะไร

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. ปัญหาหลักที่หน่วยความจำแบนด์วิธสูงระบุถึงปัญหาหลักสำหรับตัวเร่งความเร็ว AI คืออะไร
    • แกนประมวลผลไม่ได้ใช้งานขณะรอข้อมูลมาถึง
    • GPU ร้อนเกินไปจากแสงมากเกินไป
    • การจัดเก็บไฟล์อย่างถาวรเมื่อปิดเครื่อง
    • การเชื่อมต่อ GPU เข้ากับอินเทอร์เน็ต
  2. HBM สร้างขึ้นทางกายภาพแตกต่างจากหน่วยความจำ GDDR ทั่วไปอย่างไร
    • มันถูกเก็บไว้ในฮาร์ดไดรฟ์
    • โดยจะซ้อน DRAM หลายตัวในแนวตั้งและเชื่อมต่อเข้ากับจุดผ่านซิลิคอน
    • ใช้สายไฟเบอร์ออปติกภายในชิป
    • มันไม่มีทรานซิสเตอร์
  3. HBM พึ่งพาอะไรเป็นหลักเพื่อให้ได้แบนด์วิธสูง
    • ความเร็วสัญญาณนาฬิกาสูงกว่าหน่วยความจำอื่นๆ มาก
    • ระบายความร้อนด้วยไนโตรเจนเหลว
    • ความเท่าเทียมที่รุนแรงผ่านอินเทอร์เฟซที่กว้างมาก
    • บีบอัดข้อมูลทั้งหมดให้เหลือเพียงบิตเดียว
  4. เหตุใด HBM Stacks จึงถูกวางไว้บน Silicon Interposer ถัดจาก GPU
    • เพื่อให้แพ็คเกจดูดีขึ้น
    • เนื่องจาก HBM ไม่สามารถทำงานอยู่ห่างออกไปมากกว่าหนึ่งเมตรได้
    • เพื่อให้ผู้ใช้สามารถลบออกได้ง่าย
    • เพื่อให้สายไฟสั้น ช่วยลดกำลังต่อบิตและเวลาแฝง
  5. สำหรับโมเดลภาษาขนาดใหญ่โดยเฉพาะ เหตุใด HBM จึงมีความสำคัญพอๆ กับการประมวลผลแบบดิบ
    • เนื่องจากตุ้มน้ำหนักโมเดลจะต้องสตรีมอย่างต่อเนื่อง ซึ่งต้องใช้ความจุและแบนด์วิธสูง
    • เพราะโมเดลไม่ได้คำนวณเลย
    • เพราะการคำนวณนั้นฟรี แต่หน่วยความจำต้องเสียภาษี
    • เนื่องจาก LLM ใช้เฉพาะ CPU เท่านั้น
  6. Which HBM generations are part of the progression from HBM2 to currently sampling HBM4 products?
    • HBM2, HBM2E, HBM4E, then HBM3
    • HBM2, HBM2E, HBM3, HBM3E, and HBM4
    • GDDR6, GDDR7, DDR5, and HBM4
    • HBM3E directly followed by HBM1
  7. Why can high HBM bandwidth help an autoregressive language model during token generation?
    • It eliminates the need to store model weights
    • It performs tokenization instead of the GPU
    • It can move model weights and other data to the compute units more quickly
    • It makes every model compute-bound
  8. What is the difference between HBM capacity and HBM bandwidth?
    • They are identical measures of GPU clock speed
    • Capacity measures transfer speed and bandwidth measures data size
    • Neither is related to memory
    • Capacity is how much data can be stored; bandwidth is how quickly data can be transferred