Тест, свързан с ръководство · Среден Ниво

Тест за прогнозиране на следващия токен

Прегледайте авторегресивното обучение по езиков модел, причинно-следствения контекст, принуждаването на учителя и разликата между обучение и генериране.

Свързани ръководни пътекиСледваща токен прогноза
Въпрос 1 на 8

Какво извежда моделът за прогнозиране на следващ токен на всяка стъпка?

Визуализирайте всеки въпрос8 въпроси

Отговорите и обясненията се появяват, докато отговаряте на теста.

  1. Какво извежда моделът за прогнозиране на следващ токен на всяка стъпка?
    • Вероятностно разпределение в речника за следващия токен
    • Една единствена фиксирана дума
    • Превод на изречението
    • Резултат от граматика
  2. Какъв тип внимание използва декодер в стил GPT?
    • Двупосочно внимание
    • Причинно (маскирано) внимание, което скрива бъдещи токени
    • Никакво внимание
    • Случайно внимание
  3. Какво означава „авторегресивно“ генериране тук?
    • Моделът генерира всички токени наведнъж
    • Моделът регресира до средна стойност
    • Всеки нов токен се добавя и се подава обратно, за да се предвиди следващият
    • Токените се генерират в произволен ред
  4. Коя функция на загубата обикновено се свежда до минимум по време на обучение?
    • Средна квадратна грешка
    • Загуба на панта
    • Косинусово разстояние
    • Крос-ентропия върху следващия токен
  5. Какво прави повишаването на температурата по време на вземане на проби?
    • Прави резултата по-случаен и креативен
    • Прави изхода строго детерминистичен
    • Увеличава обема на речниковия запас
    • Премахва слоя softmax
  6. Преди прогнозиране, как обикновено се подготвя необработеният текст?
    • Превежда се на английски
    • Той се разделя на токени от токенизатор
    • Преобразува се в аудио
    • Остава като необработени знаци без обработка
  7. During next-token training, what is teacher forcing?
    • The model receives future target tokens before the input
    • The model randomly changes the tokenizer at every step
    • The model receives the ground-truth preceding tokens when predicting the next token
    • The model always samples its own previous prediction during training
  8. What mismatch can arise because generation feeds back model-produced tokens?
    • The model can no longer use attention
    • The vocabulary disappears after the first token
    • The model’s loss is computed only on images
    • Errors in generated prefixes can affect later predictions, unlike training on the ground-truth prefix