Тест на выборку Nucleus и Top-k

Ответы и пояснения появляются по мере прохождения теста.

1. Как выборка top-k ограничивает выбор токенов?
   • Он сохраняет только k жетонов с наибольшей вероятностью, а затем производит выборку из них.
   • Он сохраняет токены до тех пор, пока совокупная вероятность не превысит k.
   • Он всегда выбирает один наиболее вероятный токен
   • Он удаляет только k наименее вероятных токенов.
2. Что определяет «ядро» при отборе проб ядра (top-p)?
   • k наиболее часто встречающихся слов в обучающих данных
   • Наименьший набор жетонов, сумма вероятностей которых равна как минимум p
   • Единственный токен с наибольшей вероятностью
   • Все токены с вероятностью выше 50%
3. В чем ключевое преимущество top-p перед top-k?
   • Вычислить всегда быстрее
   • Он никогда не выдает случайный результат
   • Количество токенов-кандидатов адаптируется к доверию модели.
   • Он игнорирует вероятности токена
4. Что делает параметр температуры перед отбором проб?
   • Устанавливает максимальную длину последовательности
   • Он выбирает язык вывода
   • Он подсчитывает размер словарного запаса
   • Он изменяет масштаб распределения вероятностей, чтобы сделать его более четким или плоским.
5. What result did the nucleus-sampling paper report for its tested open-ended generation tasks?
   • It improved diversity without sacrificing fluency and coherence in the reported comparisons
   • It guaranteed factual correctness in every output
   • It eliminated all sampling randomness
   • It improved translation quality on every benchmark
6. For a greedy decoding baseline with no token sampling, how should generation be configured?
   • Disable sampling and use greedy decoding to select the highest-probability token at each step
   • Use high temperature and a large nucleus threshold
   • Randomize the temperature at every step
   • Keep sampling enabled but increase top-p
7. After top-k truncation removes tokens, what happens to the remaining sampling probabilities?
   • They remain assigned their original total mass below one
   • They are replaced with equal probabilities
   • They are renormalized over the retained top-k tokens
   • They are converted into beam-search scores
8. What did Holtzman et al. report about likelihood-maximizing decoding for open-ended text?
   • It always yields the most diverse human-like passages
   • Это устраняет необходимость в языковой модели.
   • It guarantees factual correctness
   • It can produce bland and repetitive text despite strong likelihood scores