Викторина, связанная с руководством · Средний Уровень

Принуждение учителя к тесту по моделям последовательностей

Проверяет, как префиксы базовой истины обучают декодер последовательности, как причинные маски поддерживают параллельное обучение и почему вывод отличается.

Связанные направляющие путиПринуждение учителя в последовательных моделях
Вопрос 1 из 8

Что подается в качестве входных данных на каждом этапе декодирования во время принудительного вмешательства учителя?

Предварительный просмотр каждого вопроса8 вопросы

Ответы и пояснения появляются по мере прохождения теста.

  1. Что подается в качестве входных данных на каждом этапе декодирования во время принудительного вмешательства учителя?
    • Предыдущий токен истинной истины
    • Предыдущий прогноз модели
    • Случайный токен
    • Последний выходной токен
  2. During teacher-forced training, what target is paired with decoder input y_(t−1)?
    • The previous ground-truth token
    • The next target token y_t
    • A token sampled from the validation set
    • The maximum-probability output from an earlier training run
  3. Несоответствие обучающего теста, вызванное принуждением учителя, известно как:
    • Исчезающие градиенты
    • Свернуть режим
    • Смещение экспозиции
    • Утечка этикетки
  4. Какой механизм в декодере Transformer позволяет преподавателю проводить обучение параллельно на разных должностях?
    • Отсев
    • Пакетная нормализация
    • Поиск луча
    • Причинная (прогнозирующая) маска внимания
  5. Во время вывода выводов, почему нельзя использовать принуждение учителя?
    • Нет никаких достоверных токенов будущего, которые можно было бы кормить.
    • Функция потерь недоступна.
    • Графический процессор слишком медленный
    • Маски внимания отключены.
  6. Какая потеря обычно используется на каждом этапе обучения под руководством учителя?
    • Среднеквадратическая ошибка необработанных логитов
    • Перекрестная энтропия между предсказанным распределением и истинным следующим токеном
    • Потеря шарнира на вложениях
    • Потеря косинусного подобия
  7. The target sequence is “red, blue, green.” Under teacher forcing, which token is supplied when training the prediction of “green”?
    • The model’s prediction for “green”
    • The future token after “green”
    • The ground-truth previous token “blue”
    • A randomly sampled vocabulary item
  8. At decoder position t, which tokens must a causal attention mask block?
    • The source sequence
    • All earlier target tokens
    • The current position’s own input
    • Target tokens at positions later than t