Тест, свързан с ръководство · трудно Ниво

Типичен тест за вземане на проби

Проверява типичното изненадващо класиране, базирано на ентропия, прага на типичната_p маса и разликите от класираната по вероятност най-висока p извадка.

Свързани ръководни пътекиТипично вземане на проби
Въпрос 1 на 8

С какво основно количество се сравнява всеки кандидат жетон?

Визуализирайте всеки въпрос8 въпроси

Отговорите и обясненията се появяват, докато отговаряте на теста.

  1. С какво основно количество се сравнява всеки кандидат жетон?
    • Очакваното информационно съдържание (ентропия) на разпределението
    • Общият размер на речника на модела
    • Позицията на лексемата в изречението
    • Само температурният параметър
  2. Как типичното вземане на проби третира единствения най-вероятен токен?
    • Винаги първо го избира
    • Може да го изключи, ако изненадата му е далеч под очакваната стойност
    • Удвоява вероятността
    • Той напълно игнорира вероятността
  3. От коя идея за човешкия език е мотивирано типичното вземане на проби?
    • Хората винаги избират възможно най-редките думи
    • Хората никога не повтарят думи
    • Хората комуникират с почти постоянна скорост на информация
    • Хората говорят с изречения с фиксирана дължина
  4. Какво контролира параметърът tau при типично вземане на проби?
    • Скоростта на обучение по време на обучение
    • Броят на слоевете в модела
    • Максималната дължина на изречението
    • Кумулативната вероятностна маса, събрана в типичния набор
  5. Compared with greedy decoding, what does typical sampling try to change?
    • It samples from tokens whose surprisal is closer to the distribution’s expected surprisal
    • It always selects the most probable token
    • It guarantees every continuation is factually correct
    • It removes probability scores from decoding
  6. В кой вид софтуер обикновено семплирането е изложено на разработчиците?
    • Приложения за електронни таблици
    • Библиотеки за LLM с отворен код като Hugging Face Transformers
    • Инструменти за редактиране на изображения
    • Машини за заявки към бази данни
  7. How does typical sampling rank candidate tokens differently from top-p sampling?
    • By alphabetical order of token strings
    • By token position in the prompt
    • By distance between token surprisal and expected surprisal, rather than probability rank alone
    • By the model’s training loss
  8. Which value does typical_p control?
    • The model’s vocabulary size
    • The number of transformer layers
    • The probability that the answer is factually correct
    • The target cumulative probability mass collected in the typical set