Útmutatóhoz kapcsolódó kvíz · Közepes Szint
Kódoló-dekódoló architektúrák kvíz
Review encoder-decoder model components, source-to-target attention and text-to-text uses in translation and language tasks.
kérdés 1 -ból 8
Mi a kódoló fő feladata egy kódoló-dekódoló modellben?
Tekintse meg az összes kérdést8 kérdéseket
A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.
- Mi a kódoló fő feladata egy kódoló-dekódoló modellben?
- A bemenet elolvasása és gazdag belső reprezentációvá alakítása
- A kimenet létrehozásához egyenként egy tokent
- A jelölt kimenetek rangsorolása valószínűség szerint
- A modell edzési adatainak tárolására
- Miért használ a dekóder maszkolt (okozati) önfigyelmet?
- A bemenet elrejtése a kódoló elől
- Annak megakadályozása, hogy az egyes pozíciók jövőbeli tokeneket lássanak a generálás során
- A kimenet kevesebb tokenbe tömörítése
- Véletlenszerű tokeneket dobni a rendszerezéshez
- Milyen mechanizmus köti össze a dekódert a kódoló reprezentációival?
- Lemorzsolódás
- Kötegelt normalizálás
- Keresztirányú figyelem
- Pozíciókódolás
- Az alábbi modellek közül melyik kódoló-dekódoló (szekvencia-sorrend) architektúra?
- GPT-3
- BERT
- Word2Vec
- T5
- Miért ideális a kódoló-dekódoló kialakítása a fordításhoz?
- Mivel a bemenet és a kimenet különböző sorozatok, amelyek teljes megértést igényelnek, majd friss generálást
- Mert a bemenet és a kimenet mindig azonos hosszúságú
- Mert soha nem kell új szöveget generálnia
- Mert teljesen elkerüli a figyelem felhasználását
- In the original Transformer architecture, what attention does the encoder use over its input sequence?
- Causal attention that hides all earlier source tokens
- Bidirectional self-attention over the full source sequence
- Cross-attention only to an image sequence
- No attention mechanism
- What training objective does BART use for pretraining?
- It predicts only the next pixel in an image
- It classifies each word into a fixed sentiment label
- It corrupts text and trains a sequence-to-sequence denoising model to reconstruct the original
- It performs speech recognition from raw audio
- How does T5 frame many NLP tasks for one encoder-decoder model?
- As image classification with a shared label set
- As speech waveforms with no text tokens
- As separate model architectures for each task
- As text-to-text inputs and outputs with task descriptions in the input text