Quiz collegato alla guida · Medio Livello
Quiz sulle architetture codificatore-decodificatore
Esamina i componenti del modello codificatore-decodificatore, l'attenzione dalla sorgente al destinatario e gli usi del testo-testo nelle attività di traduzione e linguistiche.
Domanda 1 di 8
Qual è il compito principale dell'encoder in un modello encoder-decoder?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- Qual è il compito principale dell'encoder in un modello encoder-decoder?
- Leggere l'input e trasformarlo in ricche rappresentazioni interne
- Per generare l'output un token alla volta
- Classificare i risultati dei candidati in base alla probabilità
- Per archiviare i dati di training del modello
- Perché il decodificatore utilizza l’autoattenzione mascherata (causale)?
- Per nascondere l'input dall'encoder
- Per evitare che ogni posizione veda i token futuri durante la generazione
- Per comprimere l'output in meno token
- Per rilasciare casualmente i token per la regolarizzazione
- Quale meccanismo collega il decodificatore alle rappresentazioni del codificatore?
- Abbandono
- Normalizzazione batch
- Attenzione incrociata
- Codifica posizionale
- Quale di questi modelli è un'architettura codificatore-decodificatore (sequenza per sequenza)?
- GPT-3
- BERT
- Word2Vec
- T5
- Perché il design del codificatore-decodificatore è una soluzione naturale per la traduzione?
- Perché l'input e l'output sono sequenze diverse, che richiedono la piena comprensione e quindi una nuova generazione
- Perché l'input e l'output hanno sempre la stessa lunghezza
- Perché non ha mai bisogno di generare nuovo testo
- Perché evita di usare del tutto l’attenzione
- In the original Transformer architecture, what attention does the encoder use over its input sequence?
- Causal attention that hides all earlier source tokens
- Bidirectional self-attention over the full source sequence
- Cross-attention only to an image sequence
- No attention mechanism
- What training objective does BART use for pretraining?
- It predicts only the next pixel in an image
- It classifies each word into a fixed sentiment label
- It corrupts text and trains a sequence-to-sequence denoising model to reconstruct the original
- It performs speech recognition from raw audio
- How does T5 frame many NLP tasks for one encoder-decoder model?
- As image classification with a shared label set
- As speech waveforms with no text tokens
- As separate model architectures for each task
- As text-to-text inputs and outputs with task descriptions in the input text