Вікторина, пов’язана з посібником · Середній Рівень

Вікторина «Форсування вчителем моделей послідовності».

Перевіряє, як префікси базової істини навчають декодер послідовності, як причинно-наслідкові маски підтримують паралельне навчання та чому висновок відрізняється.

Пов'язані напрямні шляхиФорсування вчителем моделей послідовності
Питання 1 з 8

Під час форсування вчителем, що подається як вхідні дані на кожному кроці декодування?

Перегляньте кожне запитання8 запитання

Відповіді та пояснення з’являються під час виконання тесту.

  1. Під час форсування вчителем, що подається як вхідні дані на кожному кроці декодування?
    • Основна істина попереднього маркера
    • Власний попередній прогноз моделі
    • Випадковий жетон
    • Остаточний вихідний маркер
  2. During teacher-forced training, what target is paired with decoder input y_(t−1)?
    • The previous ground-truth token
    • The next target token y_t
    • A token sampled from the validation set
    • The maximum-probability output from an earlier training run
  3. Невідповідність тренувального тесту, спричинена примусовим вчителем, відома як:
    • Зникаючі градієнти
    • Згортання режиму
    • Зміщення експозиції
    • Витік етикетки
  4. Який механізм у декодері Transformer дозволяє примусовому навчанню вчителів проводити паралельно на різних посадах?
    • Вибуття
    • Пакетна нормалізація
    • Променевий пошук
    • Причинно-наслідкова (погляд уперед) маска уваги
  5. Під час висновку, чому не можна використовувати примусовий вплив учителя?
    • Немає майбутніх токенів реальної реальності, які можна подавати
    • Функція втрати недоступна
    • Графічний процесор занадто повільний
    • Маски уваги відключені
  6. Яка втрата зазвичай використовується на кожному кроці під час примусового навчання вчителя?
    • Середня квадратична помилка на необроблених логітах
    • Перехресна ентропія між прогнозованим розподілом і справжнім наступним маркером
    • Втрата петлі на вкладеннях
    • Втрата косинусної подібності
  7. The target sequence is “red, blue, green.” Under teacher forcing, which token is supplied when training the prediction of “green”?
    • The model’s prediction for “green”
    • The future token after “green”
    • The ground-truth previous token “blue”
    • A randomly sampled vocabulary item
  8. At decoder position t, which tokens must a causal attention mask block?
    • The source sequence
    • All earlier target tokens
    • The current position’s own input
    • Target tokens at positions later than t