Prueba de atención de consultas múltiples

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

1. ¿Qué comparte la atención multiconsulta entre todos los cabezales de atención?
   • Un único conjunto de claves y valores.
   • Las proyecciones de consulta.
   • La temperatura softmax
   • Los pesos de la capa de salida
2. ¿Cuál es el principal cuello de botella que aborda MQA durante la generación autorregresiva?
   • Rendimiento de cálculo de punto flotante
   • Ancho de banda de memoria al cargar el caché KV
   • El número de épocas de entrenamiento.
   • Tamaño del vocabulario del tokenizador
3. ¿Aproximadamente en qué factor MQA reduce la caché KV?
   • Por la longitud de la secuencia
   • Por el tamaño del lote
   • Por el número de cabezas de atención.
   • No cambia el tamaño del caché KV
4. ¿Cuál es la principal desventaja de utilizar MQA?
   • Inferencia mucho más lenta
   • Ya no puede utilizar varios cabezales.
   • Requiere muchos más datos de entrenamiento.
   • Una modesta caída en la calidad del modelo.
5. ¿Qué variante se sitúa entre la atención multicabezal estándar y el MQA?
   • Atención de consultas agrupadas
   • Atención de ventana corrediza
   • Atención relámpago
   • Atención escasa
6. ¿Quién propuso la Atención Multiconsulta?
   • Geoffrey Hinton
   • Noam Shazeer
   • Yann LeCun
   • Andrej Karpathy
7. In Multi-Query Attention, what remains separate for each attention head?
   • The shared key projection
   • The shared value projection
   • The query projection
   • The token sequence itself
8. How does Grouped-Query Attention differ from standard MQA?
   • It shares query projections but gives every head separate keys and values
   • It removes attention and replaces it with a recurrent layer
   • It groups output vocabulary tokens instead of attention heads
   • It shares keys and values within several groups of query heads rather than across all heads at once