Test legat de ghid · Mediu Nivel

Chestionar Arhitecturi Encoder-Decoder

Review encoder-decoder model components, source-to-target attention and text-to-text uses in translation and language tasks.

Căi de ghidare aferenteArhitecturi codificatoare decodor
Întrebare 1 de 8

Care este sarcina principală a codificatorului într-un model de encoder-decodor?

Previzualizează fiecare întrebare8 întrebări

Răspunsurile și explicațiile apar pe măsură ce susțineți testul.

  1. Care este sarcina principală a codificatorului într-un model de encoder-decodor?
    • Pentru a citi intrarea și a o transforma în reprezentări interne bogate
    • Pentru a genera ieșirea câte un jeton
    • Pentru a clasifica rezultatele candidatului în funcție de probabilitate
    • Pentru a stoca datele de antrenament ale modelului
  2. De ce folosește decodorul auto-atenție mascată (cauzală)?
    • Pentru a ascunde intrarea de la codificator
    • Pentru a împiedica fiecare poziție să vadă jetoane viitoare în timpul generării
    • Pentru a comprima ieșirea în mai puține jetoane
    • Pentru a arunca la întâmplare jetoane pentru regularizare
  3. Ce mecanism conectează decodorul de reprezentările codificatorului?
    • Abandonul
    • Normalizarea loturilor
    • Atenție încrucișată
    • Codificare pozițională
  4. Care dintre aceste modele este o arhitectură codificator-decodor (secvență la secvență)?
    • GPT-3
    • BERT
    • Word2Vec
    • T5
  5. De ce designul codificatorului-decodorului este potrivit pentru traducere?
    • Deoarece intrarea și ieșirea sunt secvențe diferite, necesită o înțelegere completă, apoi o nouă generație
    • Deoarece intrarea și ieșirea au întotdeauna aceeași lungime
    • Pentru că nu trebuie niciodată să genereze text nou
    • Pentru că evită folosirea atenției în întregime
  6. In the original Transformer architecture, what attention does the encoder use over its input sequence?
    • Causal attention that hides all earlier source tokens
    • Bidirectional self-attention over the full source sequence
    • Cross-attention only to an image sequence
    • No attention mechanism
  7. What training objective does BART use for pretraining?
    • It predicts only the next pixel in an image
    • It classifies each word into a fixed sentiment label
    • It corrupts text and trains a sequence-to-sequence denoising model to reconstruct the original
    • It performs speech recognition from raw audio
  8. How does T5 frame many NLP tasks for one encoder-decoder model?
    • As image classification with a shared label set
    • As speech waveforms with no text tokens
    • As separate model architectures for each task
    • As text-to-text inputs and outputs with task descriptions in the input text