Вікторина, пов’язана з посібником · Середній Рівень
Тест про вибірку ядра та Top-k
Зрозумійте, як top-k, top-p і температура змінюють вибірку маркерів і чому вибір декодування змінює поведінку створеного тексту.
Питання 1 з 8
Як вибірка top-k обмежує вибір токенів?
Перегляньте кожне запитання8 запитання
Відповіді та пояснення з’являються під час виконання тесту.
- Як вибірка top-k обмежує вибір токенів?
- Він зберігає лише k токенів із найвищою ймовірністю, а потім вибірки серед них
- Він зберігає маркери, доки сукупна ймовірність не перевищить k
- Він завжди вибирає один найбільш імовірний маркер
- Він видаляє лише k найменш імовірних токенів
- Що визначає «ядро» у вибірці ядра (зверху-p)?
- K найбільш часто зустрічаються слів у навчальних даних
- Найменший набір жетонів, сума ймовірностей яких становить щонайменше p
- Єдиний токен із найвищою ймовірністю
- Усі токени з ймовірністю вище 50%
- Яка ключова перевага top-p над top-k?
- Обчислювати завжди швидше
- Він ніколи не створює випадкових результатів
- Кількість жетонів-кандидатів адаптується до впевненості моделі
- Він ігнорує ймовірності маркерів
- Що робить параметр температури перед відбором зразка?
- Він встановлює максимальну довжину послідовності
- Він вибирає мову виводу
- Він підраховує розмір словникового запасу
- Він змінює масштаб розподілу ймовірностей, щоб бути точнішим або більш плоским
- What result did the nucleus-sampling paper report for its tested open-ended generation tasks?
- It improved diversity without sacrificing fluency and coherence in the reported comparisons
- It guaranteed factual correctness in every output
- It eliminated all sampling randomness
- It improved translation quality on every benchmark
- For a greedy decoding baseline with no token sampling, how should generation be configured?
- Disable sampling and use greedy decoding to select the highest-probability token at each step
- Use high temperature and a large nucleus threshold
- Randomize the temperature at every step
- Keep sampling enabled but increase top-p
- After top-k truncation removes tokens, what happens to the remaining sampling probabilities?
- They remain assigned their original total mass below one
- They are replaced with equal probabilities
- They are renormalized over the retained top-k tokens
- They are converted into beam-search scores
- What did Holtzman et al. report about likelihood-maximizing decoding for open-ended text?
- It always yields the most diverse human-like passages
- Це усуває потребу в мовній моделі
- It guarantees factual correctness
- It can produce bland and repetitive text despite strong likelihood scores