Cuestionario vinculado a una guía · Medio Nivel

Prueba de memoria de alto ancho de banda

Comprueba el apilamiento de HBM, los TSV, las interfaces amplias, el ancho de banda frente a la capacidad y la generación actual de HBM4 junto con versiones anteriores.

Rutas de guía relacionadasMemoria de alto ancho de banda
Pregunta 1 de 8

¿Qué problema principal aborda la memoria de alto ancho de banda para los aceleradores de IA?

Vista previa de cada pregunta8 preguntas

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

  1. ¿Qué problema principal aborda la memoria de alto ancho de banda para los aceleradores de IA?
    • Núcleos de computación inactivos mientras esperan que lleguen los datos
    • Las GPU se sobrecalientan por demasiada luz
    • Almacenar archivos permanentemente cuando no hay energía
    • Conexión de la GPU a Internet
  2. ¿En qué se diferencia HBM físicamente de la memoria GDDR normal?
    • Se almacena en un disco duro
    • Apila múltiples matrices DRAM verticalmente y las conecta con vías de silicio
    • Utiliza cables de fibra óptica dentro del chip.
    • no tiene transistores
  3. ¿En qué se basa principalmente HBM para alcanzar su gran ancho de banda?
    • Velocidades de reloj mucho más altas que cualquier otra memoria
    • Enfriamiento con nitrógeno líquido
    • Paralelismo extremo a través de una interfaz muy amplia
    • Comprimir todos los datos a un bit
  4. ¿Por qué las pilas de HBM se colocan en un intercalador de silicio justo al lado de la GPU?
    • Para que el paquete se vea mejor
    • Porque HBM no puede trabajar a más de un metro de distancia
    • Para permitir una fácil eliminación por parte del usuario.
    • Para mantener los cables cortos, reduciendo la potencia por bit y la latencia.
  5. Específicamente para los modelos de lenguajes grandes, ¿por qué HBM puede ser tan importante como la computación sin procesar?
    • Porque los pesos de los modelos deben transmitirse constantemente, lo que exige gran capacidad y ancho de banda.
    • Porque los modelos no hacen ninguna matemática
    • Porque la computación es gratuita pero la memoria está gravada
    • Porque los LLM solo usan la CPU
  6. Which HBM generations are part of the progression from HBM2 to currently sampling HBM4 products?
    • HBM2, HBM2E, HBM4E, then HBM3
    • HBM2, HBM2E, HBM3, HBM3E, and HBM4
    • GDDR6, GDDR7, DDR5, and HBM4
    • HBM3E directly followed by HBM1
  7. Why can high HBM bandwidth help an autoregressive language model during token generation?
    • It eliminates the need to store model weights
    • It performs tokenization instead of the GPU
    • It can move model weights and other data to the compute units more quickly
    • It makes every model compute-bound
  8. What is the difference between HBM capacity and HBM bandwidth?
    • They are identical measures of GPU clock speed
    • Capacity measures transfer speed and bandwidth measures data size
    • Neither is related to memory
    • Capacity is how much data can be stored; bandwidth is how quickly data can be transferred