Температура и отбор проб
Температура и выборка — это регуляторы, которые контролируют, насколько «случайной» или «безопасной» является формулировка языковой модели.
Обзор
They decide whether you get the same predictable answer every time or fresh, varied phrasing.
Глубокое погружение
На каждом этапе языковая модель не выводит слово напрямую — она выдает оценку («логит») для каждого токена в своем словаре, который softmax превращает в распределение вероятностей. Выборка — это то, как следующий токен выбирается из этого распределения. Температура изменяет распределение перед выбором: низкая температура приводит к доминированию лучших вариантов, поэтому результат становится целенаправленным и повторяемым; высокая температура сглаживает его, позволяя маловероятным лексемам проскальзывать для большего разнообразия (и большего количества ошибок). Два популярных фильтра сначала сужают круг. Top-k сохраняет только k жетонов с наибольшей вероятностью. Top-p, или ядерная выборка, сохраняет наименьший набор токенов, вероятность которых в сумме равна p (скажем, 0,9), поэтому пул увеличивается, когда модель не уверена, и сжимается, когда она уверена. Вместе эти настройки сочетают надежность с креативностью.
Техническая информация
Температура рассчитывается путем деления каждого логита на T перед softmax: вероятность пропорциональна exp(logit/T). T ниже 1 увеличивает промежутки, поэтому верхний токен доминирует; T выше 1 уменьшает разрывы и выравнивает распределение. При T около 0 модель становится фактически жадной, всегда беря единственный наиболее вероятный токен. Top-k ограничивает количество кандидатов фиксированным числом, а top-p устанавливает пороговое значение кумулятивной вероятности, поэтому количество кандидатов адаптируется к тому, насколько уверенна модель на этом этапе.
Стратегическое воздействие
Скорость и масштаб
Языковые рабочие процессы могут развиваться быстрее, не жертвуя при этом согласованностью.
Доступ и охват
Это расширяет доступ к различным языкам и стилям общения.
Более четкие решения
Команды могут тратить больше времени на принятие решений, в то время как автоматизация занимается повторением.
Будущее температуры и отбора проб
Эти элементы управления стабильны и хорошо понятны, поэтому действия выполняются в более разумных настройках по умолчанию и в новых вариантах. Ожидайте более адаптивных схем, таких как min-p (которая масштабирует отсечение до вероятности верхнего токена) и динамическую температуру, которая меняется в середине поколения. Инструменты будут все чаще автоматически выбирать настройки для каждой задачи — низкие для кода и извлечения, более высокие для мозгового штурма — поэтому пользователям не придется настраивать вручную. Основная идея остается неизменной: сэмплирование — это простой и мощный рычаг между детерминированной точностью и творческим разнообразием.
Реальная реализация
Установка температуры около 0 для генерации кода или извлечения данных, когда вам каждый раз нужен один и тот же правильный ответ.
Повышение температуры примерно до 0,8–1,0 для мозгового штурма имен, слоганов или идей для историй, чтобы получить разнообразные варианты.
Использование top-p около 0,9, чтобы модель отбирала только самые правдоподобные слова и избегала странных токенов.
Применение Top-k для ограничения кандидатов и предотвращения появления редких слов, не относящихся к теме, в ответах, обращенных к клиенту.
Риски и ограничения
Галлюцинированные факты могут незаметно войти в отчеты, потоки поддержки или результаты исследований.
Незамедлительная чувствительность может привести к противоречивым результатам по схожим запросам.
Конфиденциальные текстовые данные могут быть раскрыты, если контроль доступа слабый.
Дорожная карта реализации
Перед развертыванием определите выходной формат, тон и стандарты качества.
Наземные ответы с помощью надежных источников, когда точность имеет значение.
Обеспечьте контрольную точку человеческого контроля для получения важных результатов.
Отслеживайте закономерности сбоев и регулярно обновляйте подсказки или рабочие процессы.
Продолжайте исследовать
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Temperature and Sampling quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Следующее руководство
Ядро и выборка Top-k
Часто задаваемые вопросы
What is Temperature and Sampling?
Температура и выборка — это регуляторы, которые контролируют, насколько «случайной» или «безопасной» является формулировка языковой модели. Они решают, получите ли вы каждый раз один и тот же предсказуемый ответ или свежие, разнообразные формулировки.
Как повышение температуры влияет на выходные данные модели?
Более высокая температура выравнивает распределение вероятностей, поэтому менее вероятные токены выбираются чаще, что дает более разнообразный (и более рискованный) результат.
Чем выборка top-p (ядра) отличается от выборки top-k?
Top-p адаптирует набор кандидатов по кумулятивной вероятности, тогда как top-k всегда сохраняет фиксированное количество верхних токенов.
С механической точки зрения, какое влияние температура на самом деле оказывает на логиты?
Температура делит каждый логит на T до softmax; T ниже 1 делает распределение более четким, T выше 1 — выравнивает его.
Какая настройка обычно лучше всего подходит для генерации кода или извлечения структурированных данных?
Задачи, требующие корректности и повторяемости, используют очень низкую температуру, поэтому модель надежно выбирает наиболее вероятные и правильные токены.
Что происходит при температуре фактически 0?
Вблизи нулевой температуры распределение настолько резкое, что всегда выбирается токен с наибольшей вероятностью — жадное декодирование.