Cuestionario vinculado a una guía · Medio Nivel

Prueba de atención de consultas agrupadas

Revise cómo la atención de consultas agrupadas comparte cabezas de clave/valor, reduce los costos de caché en tiempo de generación y se puede obtener desde los puntos de control existentes.

Rutas de guía relacionadasAtención de consultas agrupadas
Pregunta 1 de 8

En Atención de consultas agrupadas, ¿qué se comparte entre un grupo de jefes de consulta?

Vista previa de cada pregunta8 preguntas

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

  1. En Atención de consultas agrupadas, ¿qué se comparte entre un grupo de jefes de consulta?
    • Las cabezas clave y de valor.
    • La proyección de salida solamente
    • Las incrustaciones de entrada
    • La tasa de aprendizaje
  2. GQA se describe mejor como un término medio, ¿entre qué dos extremos?
    • Convolución y atención
    • Atención completa de múltiples cabezas y atención de múltiples consultas.
    • Precisión FP32 y FP8
    • Modelos solo codificador y solo decodificador
  3. ¿Qué parte de la inferencia GQA abarata principalmente?
    • Tokenización del mensaje
    • El cálculo de la pérdida de entrenamiento.
    • La memoria caché KV y su ancho de banda durante la generación.
    • El softmax final sobre el vocabulario.
  4. Si un modelo tiene 32 cabezales de consulta y 8 grupos de KV, ¿en qué factor se reduce aproximadamente la caché de KV?
    • Aproximadamente 32x
    • Aproximadamente 2x
    • Sin reducción
    • Aproximadamente 4x
  5. What quality/speed tradeoff did the GQA paper report in its experiments?
    • Quality close to MHA with inference speed closer to MQA
    • Lower quality and slower inference than both
    • Exactly the same latency and quality for every model
    • A result only on image classification
  6. ¿Cómo se convierten a menudo los modelos de cabezales múltiples existentes a GQA?
    • Eliminando todas las capas de atención
    • Mediante un breve paso de "capacitación" desde el punto de control existente.
    • Cambiando a un tokenizador diferente
    • No se pueden convertir en absoluto.
  7. Which task families did the GQA paper evaluate?
    • Image segmentation and object detection
    • Speech synthesis and speaker verification
    • Language modeling and machine translation
    • Molecular generation and toxicity prediction
  8. How much of the original pretraining compute did the GQA paper report using for its uptraining recipe?
    • Alrededor del 50%
    • About 100%
    • No additional training compute
    • Alrededor del 5%