Тест за вземане на проби от ядрото и Top-k

Отговорите и обясненията се появяват, докато отговаряте на теста.

1. Как вземането на проби от top-k ограничава избора на токени?
   • Той запазва само k токена с най-висока вероятност, след което прави проби сред тях
   • Той съхранява жетони, докато кумулативната вероятност надвиши k
   • Той винаги избира единствения най-вероятен токен
   • Той премахва само k най-малко вероятните токена
2. Какво определя „ядрото“ при вземането на проби от ядро (отгоре-p)?
   • K най-често срещаните думи в данните за обучение
   • Най-малкият набор от символи, чиито вероятности са най-малко p
   • Единственият токен с най-висока вероятност
   • Всички токени с вероятност над 50%
3. Какво е основното предимство на top-p пред top-k?
   • Винаги е по-бързо да се изчислява
   • Той никога не произвежда случаен изход
   • Броят на кандидат токените се адаптира към увереността на модела
   • Той игнорира символичните вероятности
4. Какво прави температурният параметър преди вземане на проби?
   • Той задава максималната дължина на последователността
   • Той избира езика на изхода
   • Той отчита размера на речника
   • Той премащабира вероятностното разпределение, за да бъде по-отчетливо или по-плоско
5. What result did the nucleus-sampling paper report for its tested open-ended generation tasks?
   • It improved diversity without sacrificing fluency and coherence in the reported comparisons
   • It guaranteed factual correctness in every output
   • It eliminated all sampling randomness
   • It improved translation quality on every benchmark
6. For a greedy decoding baseline with no token sampling, how should generation be configured?
   • Disable sampling and use greedy decoding to select the highest-probability token at each step
   • Use high temperature and a large nucleus threshold
   • Randomize the temperature at every step
   • Keep sampling enabled but increase top-p
7. After top-k truncation removes tokens, what happens to the remaining sampling probabilities?
   • They remain assigned their original total mass below one
   • They are replaced with equal probabilities
   • They are renormalized over the retained top-k tokens
   • They are converted into beam-search scores
8. What did Holtzman et al. report about likelihood-maximizing decoding for open-ended text?
   • It always yields the most diverse human-like passages
   • Той елиминира необходимостта от езиков модел
   • It guarantees factual correctness
   • It can produce bland and repetitive text despite strong likelihood scores