Викторина, связанная с руководством · Средний Уровень

Викторина по предсказанию следующего токена

Рассмотрите авторегрессионное обучение языковой модели, причинный контекст, принуждение учителя и разницу между обучением и поколением.

Связанные направляющие путиПрогноз следующего токена
Вопрос 1 из 8

Что выдает модель прогнозирования следующего токена на каждом этапе?

Предварительный просмотр каждого вопроса8 вопросы

Ответы и пояснения появляются по мере прохождения теста.

  1. Что выдает модель прогнозирования следующего токена на каждом этапе?
    • Распределение вероятностей по словарю для следующего токена
    • Одно фиксированное слово
    • Перевод предложения
    • Оценка по грамматике
  2. Какой тип внимания использует декодер в стиле GPT?
    • Двунаправленное внимание
    • Причинное (замаскированное) внимание, скрывающее будущие токены
    • Никакого внимания вообще
    • Случайное внимание
  3. Что здесь означает «авторегрессионное» поколение?
    • Модель генерирует все токены одновременно
    • Модель регрессирует к среднему значению
    • Каждый новый токен добавляется и возвращается обратно для прогнозирования следующего.
    • Токены генерируются в случайном порядке
  4. Какая функция потерь обычно минимизируется во время обучения?
    • Среднеквадратическая ошибка
    • Потеря шарнира
    • Косинусное расстояние
    • Перекрестная энтропия по следующему токену
  5. Что дает повышение температуры во время отбора проб?
    • Делает вывод более случайным и креативным
    • Делает вывод строго детерминированным
    • Увеличивает размер словарного запаса
    • Удаляет слой softmax
  6. Как обычно готовится необработанный текст перед прогнозированием?
    • Он переведен на английский
    • Он разбивается на токены с помощью токенизатора.
    • Он преобразуется в аудио
    • Он остается в виде необработанных символов без обработки.
  7. During next-token training, what is teacher forcing?
    • The model receives future target tokens before the input
    • The model randomly changes the tokenizer at every step
    • The model receives the ground-truth preceding tokens when predicting the next token
    • The model always samples its own previous prediction during training
  8. What mismatch can arise because generation feeds back model-produced tokens?
    • The model can no longer use attention
    • The vocabulary disappears after the first token
    • The model’s loss is computed only on images
    • Errors in generated prefixes can affect later predictions, unlike training on the ground-truth prefix