Тест, свързан с ръководство · Среден Ниво

Тест за архитектурите на енкодер-декодер

Прегледайте компонентите на модела на енкодер-декодера, вниманието от източника към целта и употребата на текст към текст в задачи за превод и език.

Свързани ръководни пътекиАрхитектури на енкодер декодер
Въпрос 1 на 8

Каква е основната задача на енкодера в модел енкодер-декодер?

Визуализирайте всеки въпрос8 въпроси

Отговорите и обясненията се появяват, докато отговаряте на теста.

  1. Каква е основната задача на енкодера в модел енкодер-декодер?
    • Да прочете входа и да го превърне в богати вътрешни представяния
    • За генериране на изхода един токен наведнъж
    • За класиране на кандидат изходите по вероятност
    • За съхраняване на данните за обучение на модела
  2. Защо декодерът използва маскирано (каузално) самовнимание?
    • За да скриете входа от енкодера
    • За да предотвратите всяка позиция да вижда бъдещи токени по време на генерирането
    • За да компресирате изхода в по-малко токени
    • За произволно пускане на жетони за регулиране
  3. Какъв механизъм свързва декодера с представянията на енкодера?
    • Отпадане
    • Пакетно нормализиране
    • Кръстосано внимание
    • Позиционно кодиране
  4. Кой от тези модели е архитектура енкодер-декодер (последователност към последователност)?
    • GPT-3
    • БЕРТ
    • Word2Vec
    • Т5
  5. Защо дизайнът на енкодер-декодер е естествено подходящ за превод?
    • Тъй като входът и изходът са различни последователности, изискващи пълно разбиране след ново генериране
    • Тъй като входът и изходът винаги са с еднаква дължина
    • Защото никога не трябва да генерира нов текст
    • Защото избягва изцяло използването на вниманието
  6. In the original Transformer architecture, what attention does the encoder use over its input sequence?
    • Causal attention that hides all earlier source tokens
    • Bidirectional self-attention over the full source sequence
    • Cross-attention only to an image sequence
    • No attention mechanism
  7. What training objective does BART use for pretraining?
    • It predicts only the next pixel in an image
    • It classifies each word into a fixed sentiment label
    • It corrupts text and trains a sequence-to-sequence denoising model to reconstruct the original
    • It performs speech recognition from raw audio
  8. How does T5 frame many NLP tasks for one encoder-decoder model?
    • As image classification with a shared label set
    • As speech waveforms with no text tokens
    • As separate model architectures for each task
    • As text-to-text inputs and outputs with task descriptions in the input text