Викторина, связанная с руководством · Жесткий Уровень

Типичная выборочная викторина

Проверяет типичное неожиданное ранжирование, ранжирование на основе энтропии, порог массы типичного_p и отличия от выборки top-p с вероятностным ранжированием.

Связанные направляющие путиТипичная выборка
Вопрос 1 из 8

С каким основным количеством сравнивается типичная выборка каждого токена-кандидата?

Предварительный просмотр каждого вопроса8 вопросы

Ответы и пояснения появляются по мере прохождения теста.

  1. С каким основным количеством сравнивается типичная выборка каждого токена-кандидата?
    • Ожидаемая информативность (энтропия) распределения
    • Общий размер словарного запаса модели
    • Позиция токена в предложении
    • Только температурный параметр
  2. Как типичная выборка обрабатывает один наиболее вероятный токен?
    • Он всегда выбирает его первым
    • Он может исключить его, если его неожиданность намного ниже ожидаемого значения.
    • Это удваивает вероятность
    • Он полностью игнорирует вероятность
  3. Какая идея о человеческом языке мотивировала типичную выборку?
    • Люди всегда выбирают самые редкие слова
    • Люди никогда не повторяют слова
    • Люди общаются с примерно постоянной скоростью передачи информации.
    • Люди говорят предложениями фиксированной длины.
  4. Что означает параметр тау при типичном выборочном контроле?
    • Скорость обучения во время обучения
    • Количество слоев в модели
    • Максимальная длина предложения
    • Совокупная вероятностная масса, собранная в типовой набор
  5. Compared with greedy decoding, what does typical sampling try to change?
    • It samples from tokens whose surprisal is closer to the distribution’s expected surprisal
    • It always selects the most probable token
    • It guarantees every continuation is factually correct
    • It removes probability scores from decoding
  6. В каком типе программного обеспечения разработчикам обычно предоставляется типичная выборка?
    • Приложения для работы с электронными таблицами
    • Библиотеки вывода LLM с открытым исходным кодом, такие как Hugging Face Transformers
    • Инструменты редактирования изображений
    • Механизмы запросов к базе данных
  7. How does typical sampling rank candidate tokens differently from top-p sampling?
    • By alphabetical order of token strings
    • By token position in the prompt
    • By distance between token surprisal and expected surprisal, rather than probability rank alone
    • By the model’s training loss
  8. Which value does typical_p control?
    • The model’s vocabulary size
    • The number of transformer layers
    • The probability that the answer is factually correct
    • The target cumulative probability mass collected in the typical set