Útmutatóhoz kapcsolódó kvíz · Közepes Szint

Kódoló-dekódoló architektúrák kvíz

Review encoder-decoder model components, source-to-target attention and text-to-text uses in translation and language tasks.

Kapcsolódó útmutató utakKódoló dekóder architektúrák
kérdés 1 -ból 8

Mi a kódoló fő feladata egy kódoló-dekódoló modellben?

Tekintse meg az összes kérdést8 kérdéseket

A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.

  1. Mi a kódoló fő feladata egy kódoló-dekódoló modellben?
    • A bemenet elolvasása és gazdag belső reprezentációvá alakítása
    • A kimenet létrehozásához egyenként egy tokent
    • A jelölt kimenetek rangsorolása valószínűség szerint
    • A modell edzési adatainak tárolására
  2. Miért használ a dekóder maszkolt (okozati) önfigyelmet?
    • A bemenet elrejtése a kódoló elől
    • Annak megakadályozása, hogy az egyes pozíciók jövőbeli tokeneket lássanak a generálás során
    • A kimenet kevesebb tokenbe tömörítése
    • Véletlenszerű tokeneket dobni a rendszerezéshez
  3. Milyen mechanizmus köti össze a dekódert a kódoló reprezentációival?
    • Lemorzsolódás
    • Kötegelt normalizálás
    • Keresztirányú figyelem
    • Pozíciókódolás
  4. Az alábbi modellek közül melyik kódoló-dekódoló (szekvencia-sorrend) architektúra?
    • GPT-3
    • BERT
    • Word2Vec
    • T5
  5. Miért ideális a kódoló-dekódoló kialakítása a fordításhoz?
    • Mivel a bemenet és a kimenet különböző sorozatok, amelyek teljes megértést igényelnek, majd friss generálást
    • Mert a bemenet és a kimenet mindig azonos hosszúságú
    • Mert soha nem kell új szöveget generálnia
    • Mert teljesen elkerüli a figyelem felhasználását
  6. In the original Transformer architecture, what attention does the encoder use over its input sequence?
    • Causal attention that hides all earlier source tokens
    • Bidirectional self-attention over the full source sequence
    • Cross-attention only to an image sequence
    • No attention mechanism
  7. What training objective does BART use for pretraining?
    • It predicts only the next pixel in an image
    • It classifies each word into a fixed sentiment label
    • It corrupts text and trains a sequence-to-sequence denoising model to reconstruct the original
    • It performs speech recognition from raw audio
  8. How does T5 frame many NLP tasks for one encoder-decoder model?
    • As image classification with a shared label set
    • As speech waveforms with no text tokens
    • As separate model architectures for each task
    • As text-to-text inputs and outputs with task descriptions in the input text