Тест, свързан с ръководство · Среден Ниво

Тест за форсиране на учителя в модели на последователност

Проверява как префиксите на основната истина обучават декодер на последователност, как причинно-следствените маски поддържат паралелно обучение и защо изводът се различава.

Свързани ръководни пътекиМодели на последователност от учители
Въпрос 1 на 8

По време на форсирането от учител, какво се подава като вход при всяка стъпка на декодиране?

Визуализирайте всеки въпрос8 въпроси

Отговорите и обясненията се появяват, докато отговаряте на теста.

  1. По време на форсирането от учител, какво се подава като вход при всяка стъпка на декодиране?
    • Основната истина предишен токен
    • Предишна собствена прогноза на модела
    • Произволен жетон
    • Крайният изходен токен
  2. During teacher-forced training, what target is paired with decoder input y_(t−1)?
    • The previous ground-truth token
    • The next target token y_t
    • A token sampled from the validation set
    • The maximum-probability output from an earlier training run
  3. Несъответствието между влака и теста, причинено от форсирането на учителя, е известно като:
    • Изчезващи градиенти
    • Свиване на режима
    • Изкривяване на експозицията
    • Изтичане на етикет
  4. В декодер на Transformer, какъв механизъм позволява принудителното обучение от учителя да тече паралелно на различни позиции?
    • Отпадане
    • Пакетно нормализиране
    • Търсене по лъч
    • Маска за каузално (прогнозно) внимание
  5. По време на извода защо не може да се използва форсиране на учителя?
    • Няма основни бъдещи токени за захранване
    • Функцията за загуба не е налична
    • Графичният процесор е твърде бавен
    • Маските за внимание са деактивирани
  6. Коя загуба обикновено се използва на всяка стъпка по време на принудителното обучение от учителя?
    • Средна квадратна грешка при необработени логически данни
    • Крос-ентропия между предвиденото разпределение и истинския следващ токен
    • Загуба на панти при вграждане
    • Косинус загуба на подобие
  7. The target sequence is “red, blue, green.” Under teacher forcing, which token is supplied when training the prediction of “green”?
    • The model’s prediction for “green”
    • The future token after “green”
    • The ground-truth previous token “blue”
    • A randomly sampled vocabulary item
  8. At decoder position t, which tokens must a causal attention mask block?
    • The source sequence
    • All earlier target tokens
    • The current position’s own input
    • Target tokens at positions later than t