Quiz lié à un guide · Difficile Niveau

Quiz sur l'attention latente multi-têtes

Explorez le cache latent partagé de MLA, la reconstruction de bas rang, l’absorption de projection, le chemin de codage de position et les économies de mémoire d’inférence.

Chemins de guidage associésAttention latente multi-têtes
Question 1 de 8

Quel est le principal problème que l’attention latente multi-têtes est conçue pour réduire ?

Prévisualisez chaque question8 des questions

Les réponses et les explications apparaissent au fur et à mesure que vous répondez au quiz.

  1. Quel est le principal problème que l’attention latente multi-têtes est conçue pour réduire ?
    • Le coût de la mémoire du cache clé-valeur lors de l'inférence
    • Pénurie de données de formation
    • Le nombre de paramètres du modèle
    • Taille du vocabulaire du Tokenizer
  2. Comment MLA réduit-il le cache KV ?
    • Il supprime les anciens jetons du cache
    • Il stocke un petit vecteur latent de bas rang au lieu de clés et de valeurs complètes par tête
    • Il utilise des poids de 1 bit pour tout
    • Il ignore complètement l'attention sur certains jetons
  3. Quel modèle a introduit pour la première fois l’attention latente multi-têtes ?
    • GPT-2
    • BERTE
    • DeepSeek-V2
    • LLaMA1
  4. Pourquoi MLA a-t-il besoin d'un chemin « découplé » distinct pour les intégrations de positions rotatives ?
    • Parce que les positions ne sont pas pertinentes pour l'attention
    • Parce que RoPE double le vocabulaire
    • Parce que cela accélère l'optimiseur
    • Parce que la rotation ne peut pas être pliée dans la projection ascendante absorbée comme le reste de la clé peut le faire.
  5. Environ combien de réduction de mémoire cache KV DeepSeek-V2 a-t-il rapporté de MLA par rapport à l'attention multi-tête standard ?
    • Plus de 90 %
    • Environ 5%
    • Exactement 50%
    • Pas de réduction, seulement des gains de vitesse
  6. Quel avantage pratique découle directement du cache par jeton plus petit de MLA ?
    • Élimination du besoin de tout GPU
    • Tailles de lots d'inférence plus grandes et contextes plus longs sur le même matériel
    • Traduction automatique dans toutes les langues
    • Suppression de l'opération softmax
  7. What is the purpose of absorbing MLA up-projection weights into other projections?
    • Remove positional information from every token
    • Increase the size of the cached latent
    • Avoid materializing full per-head keys and values during inference
    • Replace attention with a recurrent network
  8. What positional information does MLA handle on a separate decoupled key path?
    • Class labels from the training data
    • Image segmentation maps
    • The output vocabulary probabilities
    • Rotary position embeddings that cannot be absorbed like the other key projections