Вікторина, пов’язана з посібником · важко Рівень

Типовий вибірковий тест

Перевіряє типовий сюрприз, ранжування на основі ентропії, порогове значення типової маси p і відмінності від вибірки з найвищим рівнем p.

Пов'язані напрямні шляхиТипова вибірка
Питання 1 з 8

З якою основною величиною типова вибірка порівнює кожен токен-кандидат?

Перегляньте кожне запитання8 запитання

Відповіді та пояснення з’являються під час виконання тесту.

  1. З якою основною величиною типова вибірка порівнює кожен токен-кандидат?
    • Очікувана інформативність (ентропія) розподілу
    • Загальний словниковий запас моделі
    • Позиція лексеми в реченні
    • Тільки температурний параметр
  2. Як типова вибірка розглядає єдиний найбільш вірогідний маркер?
    • Він завжди вибирає його першим
    • Він може виключити його, якщо його здивування значно нижче очікуваного значення
    • Це подвоює його ймовірність
    • Він повністю ігнорує ймовірність
  3. Якою ідеєю про людську мову була мотивована типова вибірка?
    • Люди завжди вибирають найрідкісніші слова
    • Люди ніколи не повторюють слів
    • Люди спілкуються з приблизно стабільною швидкістю інформації
    • Люди говорять реченнями фіксованої довжини
  4. Що визначає параметр тау у типовому контролі вибірки?
    • Темп навчання під час навчання
    • Кількість шарів у моделі
    • Максимальна довжина речення
    • Кумулятивна маса ймовірності, зібрана в типовий набір
  5. Compared with greedy decoding, what does typical sampling try to change?
    • It samples from tokens whose surprisal is closer to the distribution’s expected surprisal
    • It always selects the most probable token
    • It guarantees every continuation is factually correct
    • It removes probability scores from decoding
  6. У якому програмному забезпеченні типова вибірка зазвичай надається розробникам?
    • Програми для роботи з електронними таблицями
    • Бібліотеки LLM із відкритим кодом, такі як Hugging Face Transformers
    • Інструменти редагування зображень
    • Механізми запитів до бази даних
  7. How does typical sampling rank candidate tokens differently from top-p sampling?
    • By alphabetical order of token strings
    • By token position in the prompt
    • By distance between token surprisal and expected surprisal, rather than probability rank alone
    • By the model’s training loss
  8. Which value does typical_p control?
    • The model’s vocabulary size
    • The number of transformer layers
    • The probability that the answer is factually correct
    • The target cumulative probability mass collected in the typical set