Quiz lié à un guide · Moyen Niveau

Quiz d'attention multi-requêtes

Testez comment Multi-Query Attention partage les têtes clé-valeur, réduit le trafic du cache et se rapporte à l'attention des requêtes groupées dans les modèles de décodeur.

Chemins de guidage associésAttention aux requêtes multiples
Question 1 de 8

Que partage l’attention multi-requêtes entre toutes les têtes d’attention ?

Prévisualisez chaque question8 des questions

Les réponses et les explications apparaissent au fur et à mesure que vous répondez au quiz.

  1. Que partage l’attention multi-requêtes entre toutes les têtes d’attention ?
    • Un seul ensemble de clés et de valeurs
    • Les projections de requête
    • La température softmax
    • Les poids de la couche de sortie
  2. Quel est le principal goulot d’étranglement résolu par MQA lors de la génération autorégressive ?
    • Débit de calcul en virgule flottante
    • Bande passante mémoire issue du chargement du cache KV
    • Le nombre d'époques de formation
    • Taille du vocabulaire du Tokenizer
  3. De quel facteur environ MQA réduit-il le cache KV ?
    • Par la longueur de la séquence
    • Par la taille du lot
    • Par le nombre de têtes d'attention
    • Cela ne change pas la taille du cache KV
  4. Quel est le principal compromis lié à l’utilisation de MQA ?
    • Inférence beaucoup plus lente
    • Il ne peut plus du tout utiliser plusieurs têtes
    • Cela nécessite beaucoup plus de données de formation
    • Une légère baisse de la qualité du modèle
  5. Quelle variante se situe entre l’attention multi-têtes standard et le MQA ?
    • Attention aux requêtes groupées
    • Attention à la fenêtre coulissante
    • Attention éclair
    • Attention clairsemée
  6. Qui a proposé l'attention multi-requêtes ?
    • Geoffrey Hinton
    • Noam Shazeer
    • Yann LeCun
    • Andreï Karpathy
  7. In Multi-Query Attention, what remains separate for each attention head?
    • The shared key projection
    • The shared value projection
    • The query projection
    • The token sequence itself
  8. How does Grouped-Query Attention differ from standard MQA?
    • It shares query projections but gives every head separate keys and values
    • It removes attention and replaces it with a recurrent layer
    • It groups output vocabulary tokens instead of attention heads
    • It shares keys and values within several groups of query heads rather than across all heads at once