Температура та відбір проб
Температура та вибірка – це циферблати, які контролюють, наскільки «випадковим» або «безпечним» є формулювання мовної моделі.
Огляд
They decide whether you get the same predictable answer every time or fresh, varied phrasing.
Глибоке занурення
На кожному кроці мовна модель не виводить слово напряму — вона створює оцінку («логіт») для кожного лексема у своєму словнику, який softmax перетворює на розподіл ймовірностей. Вибірка — це спосіб вибору наступного токена з цього розподілу. Температура змінює розподіл перед вибором: низька температура робить найкращі варіанти домінуючими, тому результат є зосередженим і повторюваним; висока температура згладжує його, дозволяючи малоймовірним жетонам прослизнути для більшої різноманітності (і більше помилок). Два популярних фільтри спочатку звужують пул. Top-k зберігає лише k токенів із найвищою ймовірністю. Top-p, або вибірка ядра, зберігає найменший набір токенів, імовірності яких у сумі становлять p (скажімо, 0,9), тому пул зростає, коли модель невпевнена, і звужується, коли вона впевнена. Разом ці параметри компроміс між надійністю та креативністю.
Технічне розуміння
Температура працює шляхом ділення кожного логіта на T перед softmax: ймовірність пропорційна exp(logit / T). T нижче 1 загострює прогалини, тому верхній маркер домінує; T вище 1 зменшує розриви та вирівнює розподіл. При T близько 0 модель стає фактично жадібною, завжди беручи єдиний найбільш ймовірний маркер. Top-k обмежує кількість кандидатів фіксованим числом, тоді як top-p встановлює кумулятивну ймовірність відсікання, тому його кількість кандидатів адаптується до того, наскільки впевнена модель на цьому кроці.
Стратегічний вплив
Швидкість і масштаб
Мовні робочі процеси можуть рухатися швидше без шкоди для узгодженості.
Доступ і охоплення
Це розширює доступ до різних мов і стилів спілкування.
Чіткіші рішення
Команди можуть витрачати більше часу на оцінювання, поки автоматизація справляється з повторенням.
Майбутнє температури та відбору проб
Ці елементи керування є стабільними та добре зрозумілими, тому дія виконується в розумніших за замовчуванням і в новіших варіантах. Очікуйте більш адаптивних схем, таких як min-p (яка масштабує відсікання до ймовірності верхнього токена) та динамічної температури, яка змінюється в середині покоління. Інструменти все більше автоматично вибиратимуть налаштування для кожного завдання — низькі для коду та вилучення, вищі для мозкового штурму — тому користувачі не налаштовуватимуть вручну. Основна ідея зберігається: вибірка — це простий, потужний перемикач між детермінованою точністю та творчим різноманіттям.
Реалізація в реальному світі
Встановіть температуру близько 0 для генерації коду або вилучення даних, коли ви хочете мати однакову правильну відповідь щоразу
Підвищення температури приблизно до 0,8-1,0 для мозкового штурму імен, слоганів або ідей історії для отримання різноманітних варіантів
Використання top-p близько 0,9, щоб модель вибирала лише найправдоподібніші слова та уникала дивних токенів
Застосування top-k для обмеження кандидатів і запобігання появі рідкісних слів, які не стосуються теми, у відповіді клієнта
Ризики та огорожі
Галюциновані факти можуть непомітно входити у звіти, допоміжні потоки або результати досліджень.
Делікатність підказок може створити суперечливі результати для подібних запитів.
Конфіденційні текстові дані можуть бути розкриті, якщо контроль доступу слабкий.
Дорожня карта впровадження
Визначте вихідний формат, тон і стандарти якості перед розгортанням.
Якщо точність має значення, зв’яжіться з надійними джерелами.
Тримайте контрольну точку перевірки людьми для отримання високих ставок.
Відстежуйте моделі збоїв і регулярно перенавчайте підказки або робочі процеси.
Продовжуйте досліджувати
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Temperature and Sampling quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Наступний посібник
Вибірка ядер і Top-k
Часті запитання
What is Temperature and Sampling?
Температура та вибірка – це циферблати, які контролюють, наскільки «випадковим» або «безпечним» є формулювання мовної моделі. Вони вирішують, щоразу ви отримаєте ту саму передбачувану відповідь чи свіжі, різноманітні фрази.
Як підвищення температури впливає на вихід моделі?
Вища температура вирівнює розподіл ймовірностей, тому менш ймовірні токени вибираються частіше, створюючи більш різноманітний (і більш ризикований) результат.
Чим вибірка top-p (ядра) відрізняється від вибірки top-k?
Top-p адаптує набір кандидатів за сукупною ймовірністю, тоді як top-k завжди зберігає фіксовану кількість топ-токенів.
Механічно, що насправді робить температура з логітами?
Температура ділить кожен логіт на T до softmax; T нижче 1 посилює розподіл, T вище 1 вирівнює його.
Яке налаштування є найкращим для створення коду чи вилучення структурованих даних?
Завдання, які потребують коректності та повторюваності, використовують дуже низьку температуру, тому модель надійно вибирає найбільш вірогідні правильні маркери.
Що відбувається при температурі фактично 0?
Поблизу нульової температури розподіл настільки різкий, що завжди вибирається маркер із найвищою ймовірністю — жадібне декодування.