Quiz lié à un guide · Moyen Niveau

Quiz d'attention sur les requêtes groupées

Examinez comment l'attention des requêtes groupées partage les têtes de clé/valeur, réduit les coûts de cache de temps de génération et peut être obtenue à partir des points de contrôle existants.

Chemins de guidage associésAttention aux requêtes groupées
Question 1 de 8

Dans Grouped-Query Attention, qu’est-ce qui est partagé entre un groupe de têtes de requête ?

Prévisualisez chaque question8 des questions

Les réponses et les explications apparaissent au fur et à mesure que vous répondez au quiz.

  1. Dans Grouped-Query Attention, qu’est-ce qui est partagé entre un groupe de têtes de requête ?
    • Les têtes clés et valeurs
    • La projection de sortie uniquement
    • Les intégrations d'entrée
    • Le taux d'apprentissage
  2. GQA est mieux décrit comme un juste milieu entre quels deux extrêmes ?
    • Convolution et attention
    • Attention multi-têtes complète et attention multi-requêtes
    • Précision FP32 et FP8
    • Modèles avec encodeur uniquement et décodeur uniquement
  3. Quelle partie de l'inférence GQA rend-elle principalement moins chère ?
    • Tokenisation de l'invite
    • Le calcul de la perte de formation
    • La mémoire cache KV et sa bande passante lors de la génération
    • Le softmax final sur le vocabulaire
  4. Si un modèle comporte 32 têtes de requête et 8 groupes KV, le cache KV est réduit d'environ quel facteur ?
    • Environ 32x
    • Environ 2x
    • Aucune réduction
    • Environ 4x
  5. What quality/speed tradeoff did the GQA paper report in its experiments?
    • Quality close to MHA with inference speed closer to MQA
    • Lower quality and slower inference than both
    • Exactly the same latency and quality for every model
    • A result only on image classification
  6. Comment les modèles multi-têtes existants sont-ils souvent convertis en GQA ?
    • En supprimant toutes les couches d'attention
    • Par une courte étape de « formation » à partir du point de contrôle existant
    • En passant à un autre tokenizer
    • Ils ne peuvent pas du tout être convertis
  7. Which task families did the GQA paper evaluate?
    • Image segmentation and object detection
    • Speech synthesis and speaker verification
    • Language modeling and machine translation
    • Molecular generation and toxicity prediction
  8. How much of the original pretraining compute did the GQA paper report using for its uptraining recipe?
    • Environ 50%
    • About 100%
    • No additional training compute
    • Environ 5%