Тест, свързан с ръководство · трудно Ниво

Тест за планирано вземане на проби и отклонение при експозиция

Проверява как насроченото вземане на проби променя контекста на декодера, защо неговата вероятност за златен токен намалява и градиентните компромиси на вземането на проби.

Свързани ръководни пътекиПланирано вземане на проби и отклонение на експозицията
Въпрос 1 на 8

Възниква пристрастие към експозицията, защото моделите, обучени с учител, налагащ условие само за:

Визуализирайте всеки въпрос8 въпроси

Отговорите и обясненията се появяват, докато отговаряте на теста.

  1. Възниква пристрастие към експозицията, защото моделите, обучени с учител, налагащ условие само за:
    • Основни жетони за истина, но трябва да използват свои собствени при извод
    • Техните собствени прогнозирани токени
    • Случайни жетони за шум
    • Бъдещи токени
  2. Какво прави планираното вземане на проби по време на обучение?
    • Винаги захранва истинския знак
    • Избира на случаен принцип между истинския символ и собствената прогноза на модела
    • Деактивира функцията за загуба периодично
    • Удвоява скоростта на обучение с течение на времето
  3. Как се променя вероятността за използване на токена за наземна истина спрямо обучението при планирано вземане на проби?
    • Остава постоянно
    • Започва ниско и се увеличава
    • Започва високо и намалява към нула
    • Осцилира произволно
  4. Кой въведе планираното вземане на проби и кога приблизително?
    • Vaswani и др., 2017 г
    • Хинтън и др., 2006 г
    • LeCun и др., 1998 г
    • Bengio и др., 2015 г
  5. Признат технически недостатък на връщането на извадени жетони обратно по време на обучение е, че:
    • Стъпката на дискретно вземане на проби е недиференцируема, което усложнява градиентите
    • Това прави обучението напълно детерминистично
    • Не изисква данни за валидиране
    • Елиминира необходимостта от вграждане
  6. Коя форма на график обикновено се цитира за намаляване на вероятността за принуждаване от учител?
    • Константа
    • Обратно-сигмоидно разпадане
    • Постепенно линейно увеличение
    • Случайна разходка
  7. At a decoding step where scheduled sampling chooses the model-output branch, what is fed as the next context token?
    • The next ground-truth token every time
    • A token from a separate validation sequence
    • A token sampled from the model’s predicted distribution
    • The average of all vocabulary embeddings
  8. Why does scheduled sampling usually begin with a high probability of using ground truth?
    • It guarantees unbiased gradients
    • It removes the need for a training schedule
    • It makes inference use ground-truth tokens
    • Early predictions are poor, so a correct prefix can stabilize initial learning