Quiz collegato alla guida · Medio Livello

Quiz sulle architetture codificatore-decodificatore

Esamina i componenti del modello codificatore-decodificatore, l'attenzione dalla sorgente al destinatario e gli usi del testo-testo nelle attività di traduzione e linguistiche.

Domanda 1 di 8

Qual è il compito principale dell'encoder in un modello encoder-decoder?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. Qual è il compito principale dell'encoder in un modello encoder-decoder?
    • Leggere l'input e trasformarlo in ricche rappresentazioni interne
    • Per generare l'output un token alla volta
    • Classificare i risultati dei candidati in base alla probabilità
    • Per archiviare i dati di training del modello
  2. Perché il decodificatore utilizza l’autoattenzione mascherata (causale)?
    • Per nascondere l'input dall'encoder
    • Per evitare che ogni posizione veda i token futuri durante la generazione
    • Per comprimere l'output in meno token
    • Per rilasciare casualmente i token per la regolarizzazione
  3. Quale meccanismo collega il decodificatore alle rappresentazioni del codificatore?
    • Abbandono
    • Normalizzazione batch
    • Attenzione incrociata
    • Codifica posizionale
  4. Quale di questi modelli è un'architettura codificatore-decodificatore (sequenza per sequenza)?
    • GPT-3
    • BERT
    • Word2Vec
    • T5
  5. Perché il design del codificatore-decodificatore è una soluzione naturale per la traduzione?
    • Perché l'input e l'output sono sequenze diverse, che richiedono la piena comprensione e quindi una nuova generazione
    • Perché l'input e l'output hanno sempre la stessa lunghezza
    • Perché non ha mai bisogno di generare nuovo testo
    • Perché evita di usare del tutto l’attenzione
  6. In the original Transformer architecture, what attention does the encoder use over its input sequence?
    • Causal attention that hides all earlier source tokens
    • Bidirectional self-attention over the full source sequence
    • Cross-attention only to an image sequence
    • No attention mechanism
  7. What training objective does BART use for pretraining?
    • It predicts only the next pixel in an image
    • It classifies each word into a fixed sentiment label
    • It corrupts text and trains a sequence-to-sequence denoising model to reconstruct the original
    • It performs speech recognition from raw audio
  8. How does T5 frame many NLP tasks for one encoder-decoder model?
    • As image classification with a shared label set
    • As speech waveforms with no text tokens
    • As separate model architectures for each task
    • As text-to-text inputs and outputs with task descriptions in the input text