Вікторина, пов’язана з посібником · Середній Рівень

Тест прогнозування наступного жетона

Розгляньте авторегресійне навчання на основі мовної моделі, причинно-наслідковий контекст, нав’язування вчителя та різницю між навчанням і генерацією.

Пов'язані напрямні шляхиПрогноз наступного токена
Питання 1 з 8

Що виводить модель передбачення наступного токена на кожному кроці?

Перегляньте кожне запитання8 запитання

Відповіді та пояснення з’являються під час виконання тесту.

  1. Що виводить модель передбачення наступного токена на кожному кроці?
    • Розподіл ймовірностей у словнику для наступної лексеми
    • Одне усталене слово
    • Переклад речення
    • Граматичний бал
  2. Який тип уваги використовує декодер у стилі GPT?
    • Двостороння увага
    • Причинна (замаскована) увага, яка приховує майбутні токени
    • Взагалі ніякої уваги
    • Випадкова увага
  3. Що тут означає «авторегресійне» покоління?
    • Модель генерує всі токени одночасно
    • Модель регресує до середнього значення
    • Кожен новий токен додається та подається назад, щоб передбачити наступний
    • Жетони генеруються у випадковому порядку
  4. Яка функція втрат зазвичай мінімізується під час навчання?
    • Середня квадратична помилка
    • Втрата шарніра
    • Косинусна відстань
    • Перехресна ентропія над наступним токеном
  5. Що робить підвищення температури під час відбору зразків?
    • Робить вихід більш випадковим і творчим
    • Робить вихід суворо детермінованим
    • Збільшує словниковий запас
    • Видаляє шар softmax
  6. Як зазвичай готується необроблений текст перед прогнозуванням?
    • Він перекладений на англійську мову
    • Він розбивається на токени за допомогою токенизатора
    • Він перетворюється на аудіо
    • Він залишається як необроблені символи без обробки
  7. During next-token training, what is teacher forcing?
    • The model receives future target tokens before the input
    • The model randomly changes the tokenizer at every step
    • The model receives the ground-truth preceding tokens when predicting the next token
    • The model always samples its own previous prediction during training
  8. What mismatch can arise because generation feeds back model-produced tokens?
    • The model can no longer use attention
    • The vocabulary disappears after the first token
    • The model’s loss is computed only on images
    • Errors in generated prefixes can affect later predictions, unlike training on the ground-truth prefix