Quiz lié à un guide · Moyen Niveau

Quiz sur les architectures codeurs-décodeurs

Passez en revue les composants du modèle d'encodeur-décodeur, l'attention de la source à la cible et les utilisations du texte à texte dans les tâches de traduction et de langage.

Chemins de guidage associésArchitectures de décodeur d'encodeur
Question 1 de 8

Quelle est la fonction principale du codeur dans un modèle codeur-décodeur ?

Prévisualisez chaque question8 des questions

Les réponses et les explications apparaissent au fur et à mesure que vous répondez au quiz.

  1. Quelle est la fonction principale du codeur dans un modèle codeur-décodeur ?
    • Pour lire l'entrée et la transformer en représentations internes riches
    • Pour générer la sortie un jeton à la fois
    • Pour classer les résultats candidats par probabilité
    • Pour stocker les données d'entraînement du modèle
  2. Pourquoi le décodeur utilise-t-il une auto-attention masquée (causale) ?
    • Pour masquer l'entrée de l'encodeur
    • Pour empêcher chaque position de voir les futurs jetons lors de la génération
    • Pour compresser la sortie en moins de jetons
    • Pour déposer au hasard des jetons pour la régularisation
  3. Quel mécanisme relie le décodeur aux représentations du codeur ?
    • Abandon
    • Normalisation par lots
    • Attention croisée
    • Codage positionnel
  4. Lequel de ces modèles est une architecture codeur-décodeur (séquence à séquence) ?
    • GPT-3
    • BERTE
    • Mot2Vec
    • T5
  5. Pourquoi la conception codeur-décodeur est-elle un choix naturel pour la traduction ?
    • Parce que l'entrée et la sortie sont des séquences différentes, nécessitant une compréhension complète puis une nouvelle génération
    • Parce que l'entrée et la sortie ont toujours la même longueur
    • Parce qu'il n'a jamais besoin de générer un nouveau texte
    • Parce que cela évite complètement d'utiliser l'attention
  6. In the original Transformer architecture, what attention does the encoder use over its input sequence?
    • Causal attention that hides all earlier source tokens
    • Bidirectional self-attention over the full source sequence
    • Cross-attention only to an image sequence
    • No attention mechanism
  7. What training objective does BART use for pretraining?
    • It predicts only the next pixel in an image
    • It classifies each word into a fixed sentiment label
    • It corrupts text and trains a sequence-to-sequence denoising model to reconstruct the original
    • It performs speech recognition from raw audio
  8. How does T5 frame many NLP tasks for one encoder-decoder model?
    • As image classification with a shared label set
    • As speech waveforms with no text tokens
    • As separate model architectures for each task
    • As text-to-text inputs and outputs with task descriptions in the input text