Викторина, связанная с руководством · Средний Уровень

Викторина по архитектуре кодировщика-декодера

Просмотрите компоненты модели кодировщика-декодера, внимание от источника к цели и использование преобразования текста в текст в задачах перевода и языковых задач.

Связанные направляющие путиАрхитектуры кодировщика-декодера
Вопрос 1 из 8

Какова основная задача кодера в модели кодер-декодер?

Предварительный просмотр каждого вопроса8 вопросы

Ответы и пояснения появляются по мере прохождения теста.

  1. Какова основная задача кодера в модели кодер-декодер?
    • Чтобы прочитать входные данные и превратить их в богатые внутренние представления
    • Чтобы генерировать выходные данные по одному токену за раз
    • Ранжирование результатов кандидатов по вероятности
    • Чтобы сохранить данные обучения модели
  2. Почему декодер использует замаскированное (каузальное) внимание к себе?
    • Чтобы скрыть ввод от кодировщика
    • Чтобы каждая позиция не видела будущие токены во время генерации
    • Чтобы сжать вывод в меньшее количество токенов
    • Чтобы случайным образом выбрасывать токены для регуляризации
  3. Какой механизм соединяет декодер с представлениями кодера?
    • Отсев
    • Пакетная нормализация
    • Перекрестное внимание
    • Позиционное кодирование
  4. Какая из этих моделей представляет собой архитектуру кодер-декодер (последовательность-последовательность)?
    • ГПТ-3
    • БЕРТ
    • Word2Vec
    • Т5
  5. Почему конструкция кодера-декодера идеально подходит для перевода?
    • Поскольку ввод и вывод представляют собой разные последовательности, требующие полного понимания, а затем свежего поколения.
    • Поскольку вход и выход всегда имеют одинаковую длину
    • Потому что ему никогда не нужно генерировать новый текст
    • Потому что он полностью избегает использования внимания
  6. In the original Transformer architecture, what attention does the encoder use over its input sequence?
    • Causal attention that hides all earlier source tokens
    • Bidirectional self-attention over the full source sequence
    • Cross-attention only to an image sequence
    • No attention mechanism
  7. What training objective does BART use for pretraining?
    • It predicts only the next pixel in an image
    • It classifies each word into a fixed sentiment label
    • It corrupts text and trains a sequence-to-sequence denoising model to reconstruct the original
    • It performs speech recognition from raw audio
  8. How does T5 frame many NLP tasks for one encoder-decoder model?
    • As image classification with a shared label set
    • As speech waveforms with no text tokens
    • As separate model architectures for each task
    • As text-to-text inputs and outputs with task descriptions in the input text