Quiz d'attention croisée

Les réponses et les explications apparaissent au fur et à mesure que vous répondez au quiz.

1. Quelle est la principale différence entre l’attention personnelle et l’attention croisée ?
   • En attention croisée, les requêtes proviennent d'une séquence et les clés/valeurs d'une autre
   • L'attention croisée n'utilise pas de softmax
   • L'attention personnelle ne fonctionne que sur les images
   • L'attention croisée ne peut pas être entraînée avec la descente de gradient
2. Dans un transformateur codeur-décodeur, d'où proviennent les requêtes d'attention croisée ?
   • Les sorties du codeur
   • L'état actuel du décodeur
   • Les intégrations d'entrées brutes uniquement
   • Une matrice aléatoire distincte
3. Pourquoi les deux séquences en attention croisée peuvent-elles avoir des durées ou des modalités différentes ?
   • Parce que l'attention nécessite des entrées de longueur égale
   • Parce qu'il ignore complètement l'une des séquences
   • Parce que les requêtes et les clés proviennent de sources différentes et indépendantes
   • Parce qu'il remplit d'abord tout à une taille fixe
4. Comment Stable Diffusion utilise-t-elle l’attention croisée ?
   • Pour compresser des images en fichiers plus petits
   • Pour traduire du texte entre les langues
   • Pour supprimer le bruit de l'audio
   • Pour conditionner les zones d'image générées sur l'invite de texte
5. Quelle opération mathématique l’attention croisée partage-t-elle avec l’attention personnelle ?
   • Attention aux produits scalaires à l'échelle avec un softmax
   • Convolution sur les pixels
   • Mises à jour récurrentes de l'état
   • Tables de recherche codées en dur
6. What gate does Flamingo use to control information flow through its cross-attention layers?
   • A hard threshold initialized to one
   • A tanh gate initialized to zero
   • A fixed residual weight of 0.5
   • A learned vocabulary lookup table
7. What input sequence structure does Flamingo’s paper say its visual-language model can handle?
   • Only one image followed by a fixed-length label
   • Only text tokens with no visual inputs
   • Visual and textual data interleaved in arbitrary sequences
   • Only video frames with no text
8. What is one purpose of cross-attention in Flamingo’s visual-language architecture?
   • It replaces all text tokens with pixels
   • It prevents any information from passing between modalities
   • It performs only image resizing
   • It lets language-model layers incorporate visual features from image/video inputs