Prueba de atención rápida

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

1. ¿Cuál es el principal cuello de botella al que se dirige Flash Attention?
   • Lectura y escritura de la gran matriz de atención para ralentizar la memoria de la GPU
   • El número de multiplicaciones de punto flotante en atención.
   • El costo de cargar los pesos del modelo desde el disco.
   • Latencia de red entre múltiples GPU
2. ¿Cómo evita Flash Attention almacenar la matriz de atención completa N por N?
   • Aproxima la atención con proyecciones aleatorias.
   • Procesa consultas, claves y valores en pequeños mosaicos y combina resultados parciales.
   • Omite por completo la mayoría de los pares de tokens
   • Comprime la matriz con cuantificación.
3. ¿Qué técnica permite a Flash Attention calcular softmax correctamente sin ver toda la fila a la vez?
   • Una tabla de búsqueda de exponenciales precalculada
   • Dejar caer el softmax y usar una aproximación lineal
   • Un softmax en ejecución (en línea) que rastrea un máximo en ejecución y una suma
   • Ordenar puntuaciones antes de normalizar
4. En comparación con la atención estándar, el resultado de Flash Attention es:
   • Una aproximación aproximada que cambia precisión por velocidad
   • Más exacto debido a una mayor precisión
   • Sólo válido para secuencias cortas.
   • Matemáticamente idéntico, sólo que calculado de forma más eficiente
5. ¿Por qué Flash Attention ayuda más con secuencias largas?
   • Porque la memoria de atención crece cuadráticamente con la longitud de la secuencia.
   • Porque las secuencias más largas necesitan menos capas
   • Porque softmax se vuelve innecesario para entradas largas
   • Porque las GPU funcionan más lentas en secuencias cortas
6. ¿Qué prioriza minimizar el diseño 'consciente de IO' de Flash Attention?
   • El número de parámetros del modelo.
   • La memoria lee y escribe entre SRAM y HBM
   • La profundidad de la red neuronal.
   • El tamaño del vocabulario del tokenizador.
7. What remains computationally quadratic for dense exact self-attention even when FlashAttention reduces memory traffic?
   • The number of model layers must double
   • Every token is compared with only one other token
   • The number of query-key pair interactions grows with the square of sequence length
   • The number of model parameters becomes zero
8. Why can FlashAttention’s results differ slightly from a reference implementation despite computing the same mathematical attention?
   • It intentionally drops all long-distance tokens
   • It changes the model weights during inference
   • It replaces softmax with a random sample
   • Floating-point operations can occur in a different order during tiled accumulation