Quiz lié à un guide · Difficile Niveau

Quiz sur les mécanismes d'attention

Testez l'attention requête-clé-valeur, la mise à l'échelle softmax, les têtes parallèles, le coût d'attention dense, les calculs de valeur pondérée et le masquage causal pour la génération.

Chemins de guidage associésMécanismes d'attention
Question 1 de 8

What does token attention combine when forming an output representation?

Prévisualisez chaque question8 des questions

Les réponses et les explications apparaissent au fur et à mesure que vous répondez au quiz.

  1. What does token attention combine when forming an output representation?
    • Permanent copies of the entire conversation on disk
    • Value information from allowed positions using computed weights
    • Only manually chosen keywords with no learned scores
    • A translation dictionary that removes every other token
  2. Quel article historique de 2017 a introduit l'architecture du transformateur ?
    • « Apprentissage résiduel profond pour la reconnaissance d'images »
    • "Jouer à Atari avec l'apprentissage par renforcement profond"
    • « L'attention est tout ce dont vous avez besoin »
    • « Réseaux contradictoires génératifs »
  3. Quels sont les trois vecteurs calculés pour chaque jeton en attention ?
    • Requête, clé et valeur
    • Entrée, sortie et biais
    • Moyenne, médiane et mode
    • Encodeur, décodeur et perte
  4. Dans la formule softmax(QK^T / √d_k) V, pourquoi diviser par √d_k ?
    • Pour convertir le résultat en entiers
    • Pour supprimer les nombres négatifs
    • Pour faire fonctionner le modèle sur un GPU
    • Pour empêcher les scores du produit scalaire de devenir trop élevés avant softmax
  5. Why does dense self-attention involve growing pairwise work for very long token sequences?
    • Parce qu'il doit télécharger de nouvelles données depuis Internet
    • Parce qu'un texte plus long contient toujours des mots plus rares
    • Parce que le coût augmente avec le carré de la longueur de la séquence (O(n²))
    • Parce qu'il passe à un langage de programmation plus lent
  6. What capacity does multi-head attention provide through separate learned projections?
    • A guarantee that every head has one unique named meaning
    • Several attention representations that can capture different relationships in parallel
    • Removal of every token embedding
    • A reduction of vocabulary size by definition
  7. In a scalar attention example, values two and six receive weights three-quarters and one-quarter. What is their weighted output?
    • Huit
    • Quatre
    • Deux
    • Trois
  8. What does a causal attention mask prevent in an autoregressive text decoder?
    • Using later token positions when forming the current position's representation
    • Using any previous token
    • Computing any query or key vectors
    • Learning all model parameters