Вікторина, пов’язана з посібником · Середній Рівень

Тест про архітектуру кодера-декодера

Ознайомтеся з компонентами моделі кодера-декодера, увагою від джерела до цілі та використанням перетворення тексту в текст у перекладі та мовних завданнях.

Пов'язані напрямні шляхиАрхітектури кодувальника декодера
Питання 1 з 8

Яка основна робота кодера в моделі кодер-декодер?

Перегляньте кожне запитання8 запитання

Відповіді та пояснення з’являються під час виконання тесту.

  1. Яка основна робота кодера в моделі кодер-декодер?
    • Щоб прочитати вхідні дані та перетворити їх на багаті внутрішні представлення
    • Для генерування виводу по одному токену за раз
    • Для ранжування результатів кандидатів за ймовірністю
    • Для зберігання тренувальних даних моделі
  2. Чому декодер використовує замасковану (каузальну) самоувагу?
    • Щоб приховати введення від кодера
    • Щоб запобігти кожній позиції від перегляду майбутніх токенів під час генерації
    • Щоб стиснути вихідні дані в меншу кількість токенів
    • Для випадкового скидання токенів для регулярізації
  3. Який механізм з’єднує декодер із представленнями кодера?
    • Вибуття
    • Пакетна нормалізація
    • Перехресна увага
    • Позиційне кодування
  4. Яка з цих моделей є архітектурою кодера-декодера (від послідовності до послідовності)?
    • ГПТ-3
    • БЕРТ
    • Word2Vec
    • Т5
  5. Чому конструкція кодера-декодера є природною для перекладу?
    • Оскільки вхід і вихід є різними послідовностями, які вимагають повного розуміння, а потім нової генерації
    • Оскільки вхід і вихід завжди мають однакову довжину
    • Оскільки йому ніколи не потрібно генерувати новий текст
    • Тому що це повністю уникає використання уваги
  6. In the original Transformer architecture, what attention does the encoder use over its input sequence?
    • Causal attention that hides all earlier source tokens
    • Bidirectional self-attention over the full source sequence
    • Cross-attention only to an image sequence
    • No attention mechanism
  7. What training objective does BART use for pretraining?
    • It predicts only the next pixel in an image
    • It classifies each word into a fixed sentiment label
    • It corrupts text and trains a sequence-to-sequence denoising model to reconstruct the original
    • It performs speech recognition from raw audio
  8. How does T5 frame many NLP tasks for one encoder-decoder model?
    • As image classification with a shared label set
    • As speech waveforms with no text tokens
    • As separate model architectures for each task
    • As text-to-text inputs and outputs with task descriptions in the input text