Типичная выборка
Типичная выборка — это метод генерации текста, который выбирает следующее слово из токенов, информационное содержание которых близко к ожидаемому сюрпризу модели, а не всегда выбирает наиболее вероятные.
Обзор
It aims for output that feels natural and human-like by matching how real language balances predictability and novelty.
Глубокое погружение
Когда языковая модель прогнозирует следующий токен, она создает распределение вероятностей по тысячам вариантов. Жадные методы и методы top-k отдают предпочтение токенам с высокой вероятностью, которые могут сделать текст повторяющимся и скучным. Типичная выборка, представленная Мейстером и его коллегами в 2022 году, использует другую точку зрения, основанную на теории информации. Модель вычисляет ожидаемое информационное содержание (энтропию распределения). Затем токены оцениваются в зависимости от того, насколько далеко их собственное удивление от этих ожиданий. При типичной выборке сохраняется набор токенов, неожиданность которых наиболее близка к среднему значению, пока их совокупная вероятность не достигнет порога, а затем производится выборка из этого набора. В результате получается текст, который не является ни шокирующе случайным, ни монотонно предсказуемым, а отражает естественный способ общения людей с постоянной скоростью передачи информации.
Техническая информация
Для каждого токена-кандидата модель вычисляет неожиданность — отрицательную логарифмическую вероятность. Он также вычисляет условную энтропию, средневзвешенный по вероятности сюрприз по всем токенам. Типичная выборка ранжирует токены по абсолютной разнице между их неожиданностью и этой энтропией, а затем жадно добавляет ближайшие токены до тех пор, пока их совокупная вероятность не достигнет параметра тау (часто от 0,9 до 0,95). Выборка происходит только внутри этого локально типичного набора, подавляя как экстремальные выбросы, так и самые скучные выборки с высокой вероятностью.
Стратегическое воздействие
Скорость и масштаб
Языковые рабочие процессы могут развиваться быстрее, не жертвуя при этом согласованностью.
Доступ и охват
Это расширяет доступ к различным языкам и стилям общения.
Более четкие решения
Команды могут тратить больше времени на принятие решений, в то время как автоматизация занимается повторением.
Будущее типичного отбора проб
Типичная выборка становится стандартной опцией наряду с top-p и top-k в стеках вывода с открытым исходным кодом, таких как llama.cpp и Hugging Face Transformers. Ожидайте роста использования в творческом письме, диалоге и создании историй, где чрезмерно безопасное декодирование ухудшает качество. Исследователи смешивают его с адаптивными порогами, которые меняются в зависимости от контекста, и комбинируют его со штрафами за повторение. По мере развития теоретико-информационного декодирования типичная выборка может стать основой для автоматических методов распределения, которые отказываются от настроек температуры, настроенных вручную.
Реальная реализация
Создание художественной литературы или поэзии, где жадное декодирование приводит к скучной, повторяющейся прозе, а писатели хотят большего естественного разнообразия.
Поддержка ответов чат-бота, которые избегают роботизированных, шаблонных формулировок, сохраняя при этом связность и актуальность темы.
Доступен в качестве флага декодирования (типичный_p) в Hugging Face Transformers для разработчиков, настраивающих выходные данные модели с открытым исходным кодом.
Используется в локальных средах выполнения LLM, таких как llama.cpp и text-generation-webui, как альтернатива top-p для более насыщенного и менее вырожденного текста.
Риски и ограничения
Галлюцинированные факты могут незаметно войти в отчеты, потоки поддержки или результаты исследований.
Незамедлительная чувствительность может привести к противоречивым результатам по схожим запросам.
Конфиденциальные текстовые данные могут быть раскрыты, если контроль доступа слабый.
Дорожная карта реализации
Перед развертыванием определите выходной формат, тон и стандарты качества.
Наземные ответы с помощью надежных источников, когда точность имеет значение.
Обеспечьте контрольную точку человеческого контроля для получения важных результатов.
Отслеживайте закономерности сбоев и регулярно обновляйте подсказки или рабочие процессы.
Продолжайте исследовать
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Typical Sampling quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Следующее руководство
Спекулятивная выборочная проверка
Часто задаваемые вопросы
What is Typical Sampling?
Типичная выборка — это метод генерации текста, который выбирает следующее слово из токенов, информационное содержание которых близко к ожидаемому сюрпризу модели, а не всегда выбирает наиболее вероятные. Он стремится к тому, чтобы результат выглядел естественным и человеческим, поскольку реальный язык сочетает в себе предсказуемость и новизну.
С каким основным количеством сравнивается типичная выборка каждого токена-кандидата?
Типичная выборка измеряет, насколько далеко сюрприз каждого токена находится от энтропии распределения, ожидаемого информационного содержания, сохраняя токены, сюрприз которых наиболее близок к этому среднему значению.
Как типичная выборка обрабатывает один наиболее вероятный токен?
Токен с очень высокой вероятностью имеет очень низкую неожиданность, которая может быть далека от средней, поэтому типичная выборка может исключить его из набора кандидатов в пользу более «типичных» токенов.
Какая идея о человеческом языке мотивировала типичную выборку?
Этот метод основан на гипотезе о том, что скорость передачи информации в естественном языке остается близкой к единой, поэтому он отдает предпочтение лексемам, несущим удивление, близкое к среднему.
Что означает параметр тау при типичном выборочном контроле?
Тау устанавливает целевую совокупную вероятность; токены, наиболее близкие к энтропии, добавляются до тех пор, пока их совокупная вероятность не достигнет тау, определяя набор для выборки.
В каком типе программного обеспечения разработчикам обычно предоставляется типичная выборка?
Типичная выборка реализована как опция декодирования (например, typy_p) в таких библиотеках, как Hugging Face Transformers, и в локальных средах выполнения, таких как llama.cpp.