Викторина, связанная с руководством · Жесткий Уровень

Викторина по запланированной выборке и смещению экспозиции

Проверяет, как запланированная выборка меняет контекст декодера, почему снижается вероятность ее золотого токена и компромиссы по градиенту выборки.

Связанные направляющие путиЗапланированная выборка и смещение экспозиции
Вопрос 1 из 8

Смещение экспозиции возникает из-за того, что модели, обученные под руководством учителя, требуют только следующих условий:

Предварительный просмотр каждого вопроса8 вопросы

Ответы и пояснения появляются по мере прохождения теста.

  1. Смещение экспозиции возникает из-за того, что модели, обученные под руководством учителя, требуют только следующих условий:
    • Токены базовой истины, но при выводе должны использовать свои собственные
    • Их собственные предсказанные токены
    • Жетоны случайного шума
    • Будущие токены
  2. Что делает запланированная выборка во время обучения?
    • Всегда подает истинный токен
    • Случайным образом выбирает между истинным токеном и собственным прогнозом модели.
    • Периодически отключает функцию потерь
    • Удваивает скорость обучения с течением времени
  3. Как меняется вероятность использования достоверного токена в ходе обучения при плановой выборке?
    • Он остается постоянным
    • Он начинается с низкого уровня и увеличивается
    • Он начинается с высокого уровня и снижается до нуля.
    • Он колеблется случайным образом
  4. Кто ввел плановый отбор проб и примерно когда?
    • Васвани и др., 2017 г.
    • Хинтон и др., 2006 г.
    • ЛеКун и др., 1998 г.
    • Бенджио и др., 2015 г.
  5. Признанный технический недостаток возврата выборочных токенов во время обучения заключается в том, что:
    • Шаг дискретной выборки недифференцируем, что усложняет градиенты.
    • Это делает обучение полностью детерминированным
    • Он не требует никаких данных проверки
    • Это устраняет необходимость вложения
  6. Какая форма расписания обычно используется для уменьшения вероятности принуждения учителей?
    • Константа
    • Обратно-сигмовидный распад
    • Пошаговое линейное увеличение
    • Случайное блуждание
  7. At a decoding step where scheduled sampling chooses the model-output branch, what is fed as the next context token?
    • The next ground-truth token every time
    • A token from a separate validation sequence
    • A token sampled from the model’s predicted distribution
    • The average of all vocabulary embeddings
  8. Why does scheduled sampling usually begin with a high probability of using ground truth?
    • It guarantees unbiased gradients
    • It removes the need for a training schedule
    • It makes inference use ground-truth tokens
    • Early predictions are poor, so a correct prefix can stabilize initial learning