Kvíz spojený s průvodcem · Střední úroveň
Kvíz o architektuře kodéru a dekodéru
Prohlédněte si komponenty modelu kodér-dekodér, pozornost od zdroje k cíli a použití převodu textu na text v překladových a jazykových úlohách.
Otázka 1 z 8
Jaká je hlavní úloha kodéru v modelu kodér-dekodér?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Jaká je hlavní úloha kodéru v modelu kodér-dekodér?
- Chcete-li číst vstup a přeměnit jej na bohaté interní reprezentace
- Generování výstupu po jednom tokenu
- Seřadit výstupy kandidátů podle pravděpodobnosti
- K uložení tréninkových dat modelu
- Proč dekodér používá maskovanou (kauzální) sebepozornost?
- Skrytí vstupu z kodéru
- Aby každá pozice během generování neviděla budoucí tokeny
- Chcete-li komprimovat výstup na méně tokenů
- Náhodně pouštět žetony pro regularizaci
- Jaký mechanismus spojuje dekodér s reprezentacemi kodéru?
- Výpadek
- Dávková normalizace
- Křížová pozornost
- Poziční kódování
- Který z těchto modelů je architektura kodér-dekodér (sekvence-sekvence)?
- GPT-3
- BERT
- Word2Vec
- T5
- Proč je design kodéru a dekodéru přirozeně vhodný pro překlad?
- Protože vstup a výstup jsou různé sekvence, které vyžadují úplné pochopení a poté nové generování
- Protože vstup a výstup jsou vždy stejně dlouhé
- Protože nikdy nepotřebuje generovat nový text
- Protože se úplně vyhýbá používání pozornosti
- In the original Transformer architecture, what attention does the encoder use over its input sequence?
- Causal attention that hides all earlier source tokens
- Bidirectional self-attention over the full source sequence
- Cross-attention only to an image sequence
- No attention mechanism
- What training objective does BART use for pretraining?
- It predicts only the next pixel in an image
- It classifies each word into a fixed sentiment label
- It corrupts text and trains a sequence-to-sequence denoising model to reconstruct the original
- It performs speech recognition from raw audio
- How does T5 frame many NLP tasks for one encoder-decoder model?
- As image classification with a shared label set
- As speech waveforms with no text tokens
- As separate model architectures for each task
- As text-to-text inputs and outputs with task descriptions in the input text