Déploiement de l'attention et quiz sur l'élagage des têtes

Les réponses et les explications apparaissent au fur et à mesure que vous répondez au quiz.

1. Quel est l’objectif du déploiement de l’attention ?
   • Pour tracer le flux d'informations cumulé des jetons d'entrée aux sorties à travers les couches
   • Pour ajouter plus de calques à un transformateur
   • Pour augmenter le taux d’apprentissage
   • Pour convertir l'attention en circonvolution
2. Pourquoi la carte d’attention d’une seule couche est-elle souvent insuffisante pour expliquer ?
   • L'attention n'est jamais calculée
   • Les informations se mélangent à travers de nombreuses couches et têtes, de sorte qu'une carte manque le chemin complet
   • Les cartes sont toujours uniformes
   • Les transformateurs n'ont qu'une seule tête
3. Qu’est-ce que le déploiement de l’attention ajoute à chaque matrice d’attention pour tenir compte des connexions résiduelles ?
   • Un biais nul
   • Un terme de bruit aléatoire
   • Un composant de matrice d'identité avant la normalisation
   • Un softmax supplémentaire
4. Qu’est-ce que la recherche sur l’attention multi-têtes a révélé sur la redondance des têtes ?
   • Chaque tête est essentielle
   • Les têtes ne peuvent pas être retirées
   • La taille double toujours la précision
   • De nombreuses têtes peuvent être taillées avec peu de perte de précision
5. Comment est-on généralement estimé l’importance d’un épi pour la taille ?
   • Via une sensibilité basée sur le gradient de la perte par rapport à un masque facial
   • Par sa position alphabétique
   • En comptant uniquement ses paramètres
   • À l'heure de la journée
6. What different jobs do attention rollout and head pruning each do?
   • Ce sont des techniques identiques
   • Le déploiement facilite l'interprétation tandis que l'élagage exploite la redondance pour compresser les modèles
   • Les deux ajoutent uniquement des paramètres
   • Ni l'un ni l'autre ne touche l'attention
7. In an attention-rollout calculation, why are residual paths included with layer attention?
   • To make every head have the same weight
   • To remove the value vectors from the Transformer
   • To approximate information that can pass along the identity path when layer transitions are composed
   • To prevent the attention matrix from being normalized
8. How should an attention-rollout score be interpreted?
   • As proof that a token caused the output
   • As the exact value vector used at every layer
   • As a measure of how many heads the model contains
   • As a post-hoc approximation of relative token influence, not a causal explanation