Gids-gekoppelde quiz · Middelmatig Niveau
Encoder-decoder-architecturenquiz
Bekijk encoder-decoder-modelcomponenten, source-to-target-aandacht en text-to-text-toepassingen bij vertaling en taaltaken.
Vraag 1 van 8
Wat is de belangrijkste taak van de encoder in een encoder-decodermodel?
Bekijk elke vraag8 vragen
Antwoorden en uitleg verschijnen terwijl je de quiz doet.
- Wat is de belangrijkste taak van de encoder in een encoder-decodermodel?
- Om de input te lezen en om te zetten in rijke interne representaties
- Om de uitvoer één token tegelijk te genereren
- Kandidaatresultaten rangschikken op waarschijnlijkheid
- Om de trainingsgegevens van het model op te slaan
- Waarom gebruikt de decoder gemaskeerde (causale) zelfaandacht?
- Om de invoer voor de encoder te verbergen
- Om te voorkomen dat elke positie tijdens het genereren toekomstige tokens ziet
- Om de uitvoer in minder tokens te comprimeren
- Willekeurig tokens laten vallen voor regularisatie
- Welk mechanisme verbindt de decoder met de representaties van de encoder?
- Uitval
- Batch-normalisatie
- Cross-aandacht
- Positionele codering
- Welke van deze modellen is een encoder-decoder-architectuur (sequentie-tot-sequentie)?
- GPT-3
- BERT
- Woord2Vec
- T5
- Waarom is het ontwerp van de encoder-decoder geschikt voor vertaling?
- Omdat de invoer en uitvoer verschillende reeksen zijn, die volledig begrip vereisen en vervolgens nieuwe generatie
- Omdat de invoer en uitvoer altijd dezelfde lengte hebben
- Omdat het nooit nieuwe tekst hoeft te genereren
- Omdat het het gebruik van de aandacht volledig vermijdt
- In the original Transformer architecture, what attention does the encoder use over its input sequence?
- Causal attention that hides all earlier source tokens
- Bidirectional self-attention over the full source sequence
- Cross-attention only to an image sequence
- No attention mechanism
- What training objective does BART use for pretraining?
- It predicts only the next pixel in an image
- It classifies each word into a fixed sentiment label
- It corrupts text and trains a sequence-to-sequence denoising model to reconstruct the original
- It performs speech recognition from raw audio
- How does T5 frame many NLP tasks for one encoder-decoder model?
- As image classification with a shared label set
- As speech waveforms with no text tokens
- As separate model architectures for each task
- As text-to-text inputs and outputs with task descriptions in the input text