Kvíz spojený s průvodcem · Střední úroveň

Kvíz o architektuře kodéru a dekodéru

Prohlédněte si komponenty modelu kodér-dekodér, pozornost od zdroje k cíli a použití převodu textu na text v překladových a jazykových úlohách.

Související vodicí cestyArchitektury Encoder Decoder
Otázka 1 z 8

Jaká je hlavní úloha kodéru v modelu kodér-dekodér?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Jaká je hlavní úloha kodéru v modelu kodér-dekodér?
    • Chcete-li číst vstup a přeměnit jej na bohaté interní reprezentace
    • Generování výstupu po jednom tokenu
    • Seřadit výstupy kandidátů podle pravděpodobnosti
    • K uložení tréninkových dat modelu
  2. Proč dekodér používá maskovanou (kauzální) sebepozornost?
    • Skrytí vstupu z kodéru
    • Aby každá pozice během generování neviděla budoucí tokeny
    • Chcete-li komprimovat výstup na méně tokenů
    • Náhodně pouštět žetony pro regularizaci
  3. Jaký mechanismus spojuje dekodér s reprezentacemi kodéru?
    • Výpadek
    • Dávková normalizace
    • Křížová pozornost
    • Poziční kódování
  4. Který z těchto modelů je architektura kodér-dekodér (sekvence-sekvence)?
    • GPT-3
    • BERT
    • Word2Vec
    • T5
  5. Proč je design kodéru a dekodéru přirozeně vhodný pro překlad?
    • Protože vstup a výstup jsou různé sekvence, které vyžadují úplné pochopení a poté nové generování
    • Protože vstup a výstup jsou vždy stejně dlouhé
    • Protože nikdy nepotřebuje generovat nový text
    • Protože se úplně vyhýbá používání pozornosti
  6. In the original Transformer architecture, what attention does the encoder use over its input sequence?
    • Causal attention that hides all earlier source tokens
    • Bidirectional self-attention over the full source sequence
    • Cross-attention only to an image sequence
    • No attention mechanism
  7. What training objective does BART use for pretraining?
    • It predicts only the next pixel in an image
    • It classifies each word into a fixed sentiment label
    • It corrupts text and trains a sequence-to-sequence denoising model to reconstruct the original
    • It performs speech recognition from raw audio
  8. How does T5 frame many NLP tasks for one encoder-decoder model?
    • As image classification with a shared label set
    • As speech waveforms with no text tokens
    • As separate model architectures for each task
    • As text-to-text inputs and outputs with task descriptions in the input text