Cuestionario vinculado a una guía · Medio Nivel

Prueba de atención flash

Compruebe cómo FlashAttention reduce el tráfico de memoria de gran ancho de banda mientras calcula la atención exacta y qué hardware cambia los objetivos de FlashAttention-3.

Rutas de guía relacionadasatención flash
Pregunta 1 de 8

¿Cuál es el principal cuello de botella de los objetivos de FlashAttention en la atención estándar?

Vista previa de cada pregunta8 preguntas

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

  1. ¿Cuál es el principal cuello de botella de los objetivos de FlashAttention en la atención estándar?
    • Lectura y escritura de la gran matriz de atención para ralentizar la memoria de la GPU
    • El número de multiplicaciones de punto flotante.
    • El costo de tokenizar el texto de entrada.
    • Latencia de red entre GPU
  2. ¿Cómo se compara el resultado de FlashAttention con la atención estándar?
    • Es una aproximación que cambia precisión por velocidad.
    • Es matemáticamente idéntico (exacto)
    • Sólo funciona para secuencias cortas.
    • Cambia los pesos del modelo.
  3. ¿Qué memoria de GPU explota FlashAttention al procesar datos en mosaicos?
    • La memoria de gran ancho de banda (HBM), grande pero lenta
    • La RAM de la CPU
    • La SRAM en chip pequeña pero muy rápida
    • Almacenamiento en disco
  4. ¿Qué técnica permite a FlashAttention calcular softmax sin ver todas las puntuaciones a la vez?
    • Saltarse el softmax por completo
    • Redondeando todas las puntuaciones a cero
    • Precalcular softmax en la CPU
    • Softmax en línea (incremental) con reescalado en ejecución
  5. Debido a que la matriz de atención completa nunca se almacena en HBM, el uso de la memoria aumenta aproximadamente:
    • Linealmente con longitud de secuencia
    • Cuadráticamente con longitud de secuencia.
    • Exponencialmente con longitud de secuencia
    • Independientemente de la longitud de la secuencia
  6. Which numeric format does FlashAttention-3 use in its Hopper-focused experiments to accelerate attention?
    • Only 64-bit floating point
    • FP8, with techniques to manage its numerical error
    • Integer text tokens
    • No reduced-precision format
  7. What work-partitioning change does FlashAttention-2 introduce to improve GPU parallelism?
    • It stores the complete attention matrix in HBM
    • It replaces attention with convolution
    • It reduces non-matrix-multiplication work and improves parallelization across thread blocks and warps
    • It uses only CPU execution
  8. In FlashAttention-3, what lets data movement overlap with computation?
    • Replacing attention with a lookup table
    • Computing all scores in host memory
    • Disabling the softmax step
    • Asynchronous execution on Hopper hardware