Gids-gekoppelde quiz · Middelmatig Niveau

Encoder-decoder-architecturenquiz

Bekijk encoder-decoder-modelcomponenten, source-to-target-aandacht en text-to-text-toepassingen bij vertaling en taaltaken.

Gerelateerde gidspadenEncoder-decoder-architecturen
Vraag 1 van 8

Wat is de belangrijkste taak van de encoder in een encoder-decodermodel?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Wat is de belangrijkste taak van de encoder in een encoder-decodermodel?
    • Om de input te lezen en om te zetten in rijke interne representaties
    • Om de uitvoer één token tegelijk te genereren
    • Kandidaatresultaten rangschikken op waarschijnlijkheid
    • Om de trainingsgegevens van het model op te slaan
  2. Waarom gebruikt de decoder gemaskeerde (causale) zelfaandacht?
    • Om de invoer voor de encoder te verbergen
    • Om te voorkomen dat elke positie tijdens het genereren toekomstige tokens ziet
    • Om de uitvoer in minder tokens te comprimeren
    • Willekeurig tokens laten vallen voor regularisatie
  3. Welk mechanisme verbindt de decoder met de representaties van de encoder?
    • Uitval
    • Batch-normalisatie
    • Cross-aandacht
    • Positionele codering
  4. Welke van deze modellen is een encoder-decoder-architectuur (sequentie-tot-sequentie)?
    • GPT-3
    • BERT
    • Woord2Vec
    • T5
  5. Waarom is het ontwerp van de encoder-decoder geschikt voor vertaling?
    • Omdat de invoer en uitvoer verschillende reeksen zijn, die volledig begrip vereisen en vervolgens nieuwe generatie
    • Omdat de invoer en uitvoer altijd dezelfde lengte hebben
    • Omdat het nooit nieuwe tekst hoeft te genereren
    • Omdat het het gebruik van de aandacht volledig vermijdt
  6. In the original Transformer architecture, what attention does the encoder use over its input sequence?
    • Causal attention that hides all earlier source tokens
    • Bidirectional self-attention over the full source sequence
    • Cross-attention only to an image sequence
    • No attention mechanism
  7. What training objective does BART use for pretraining?
    • It predicts only the next pixel in an image
    • It classifies each word into a fixed sentiment label
    • It corrupts text and trains a sequence-to-sequence denoising model to reconstruct the original
    • It performs speech recognition from raw audio
  8. How does T5 frame many NLP tasks for one encoder-decoder model?
    • As image classification with a shared label set
    • As speech waveforms with no text tokens
    • As separate model architectures for each task
    • As text-to-text inputs and outputs with task descriptions in the input text