Prueba de atención latente de múltiples cabezas

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

1. ¿Cuál es el problema principal que la atención latente de múltiples cabezas está diseñada para reducir?
   • El costo de la memoria del caché de valores clave durante la inferencia.
   • Escasez de datos de formación
   • El número de parámetros del modelo.
   • Tamaño del vocabulario del tokenizador
2. ¿Cómo reduce MLA la caché KV?
   • Elimina tokens más antiguos del caché.
   • Almacena un pequeño vector latente de bajo rango en lugar de claves y valores completos por cabeza.
   • Utiliza pesos de 1 bit para todo.
   • Se salta la atención por completo en algunas fichas.
3. ¿Qué modelo introdujo por primera vez la atención latente de cabezas múltiples?
   • GPT-2
   • BERT
   • DeepSeek-V2
   • Llama 1
4. ¿Por qué MLA necesita una ruta 'desacoplada' separada para incrustaciones de posiciones rotativas?
   • Porque las posiciones son irrelevantes para la atención.
   • Porque RoPE duplica el vocabulario
   • Porque acelera el optimizador.
   • Debido a que la rotación no se puede plegar en la proyección hacia arriba absorbida como puede hacerlo el resto de la clave.
5. ¿Aproximadamente cuánta reducción de memoria caché KV reportó DeepSeek-V2 desde MLA en comparación con la atención estándar de múltiples cabezales?
   • Más del 90%
   • Alrededor del 5%
   • exactamente el 50%
   • Sin reducción, sólo ganancias de velocidad.
6. ¿Qué beneficio práctico se deriva directamente del caché por token más pequeño de MLA?
   • Eliminación de la necesidad de cualquier GPU
   • Tamaños de lotes de inferencia más grandes y contextos más largos en el mismo hardware
   • Traducción automática a todos los idiomas.
   • Eliminación de la operación softmax.
7. What is the purpose of absorbing MLA up-projection weights into other projections?
   • Remove positional information from every token
   • Increase the size of the cached latent
   • Avoid materializing full per-head keys and values during inference
   • Replace attention with a recurrent network
8. What positional information does MLA handle on a separate decoupled key path?
   • Class labels from the training data
   • Image segmentation maps
   • The output vocabulary probabilities
   • Rotary position embeddings that cannot be absorbed like the other key projections