Типова вибірка
Типова вибірка — це метод генерації тексту, який вибирає наступне слово з токенів, інформаційний вміст яких близький до очікуваного сюрпризу моделі, замість того, щоб завжди вибирати найімовірніші.
Огляд
It aims for output that feels natural and human-like by matching how real language balances predictability and novelty.
Глибоке занурення
Коли мовна модель передбачає наступний токен, вона виробляє розподіл ймовірностей за тисячами варіантів. Методи Greedy і top-k віддають перевагу маркерам з високою ймовірністю, які можуть зробити текст повторюваним і м’яким. Типова вибірка, запроваджена Мейстером та його колегами у 2022 році, розглядається під іншим кутом зору, що ґрунтується на теорії інформації. Модель обчислює свій очікуваний інформаційний вміст (ентропію розподілу). Тоді токени оцінюються залежно від того, наскільки далеко їхнє власне здивування від цього очікування. Типова вибірка зберігає набір токенів, здивування яких є найближчим до середнього, доки їх сукупна ймовірність не досягне порогового значення, а потім робить вибірки з цього набору. Результатом є текст, який не є ані шокуюче випадковим, ані монотонно передбачуваним, віддзеркалюючи спосіб природного спілкування людей майже з постійною швидкістю передачі інформації.
Технічне розуміння
Для кожного токена-кандидата модель обчислює несподіванку, негативну логарифмічну ймовірність. Він також обчислює умовну ентропію, середнє здивування, зважене за ймовірністю, для всіх токенів. Типова вибірка ранжирує токени за абсолютною різницею між їх подивом і цією ентропією, а потім жадібно додає найближчі токени, доки їх сукупна ймовірність не досягне параметра tau (часто приблизно від 0,9 до 0,95). Вибірка відбувається лише всередині цього локально типового набору, пригнічуючи як екстремальні викиди, так і найнудніші вибірки з високою ймовірністю.
Стратегічний вплив
Швидкість і масштаб
Мовні робочі процеси можуть рухатися швидше без шкоди для узгодженості.
Доступ і охоплення
Це розширює доступ до різних мов і стилів спілкування.
Чіткіші рішення
Команди можуть витрачати більше часу на оцінювання, поки автоматизація справляється з повторенням.
Майбутнє типової вибірки
Типова вибірка стає стандартною опцією разом із top-p і top-k у стеках висновків з відкритим кодом, таких як llama.cpp і Hugging Face Transformers. Очікуйте зростання використання у творчому написанні, діалогах і створенні історій, де надмірно безпечне декодування шкодить якості. Дослідники поєднують це з адаптивними пороговими значеннями, які змінюються залежно від контексту, і поєднують із штрафами за повторення. У міру того, як теоретико-інформаційне декодування розвивається, типова вибірка може інформувати про автоматичні методи з урахуванням розподілу, які виключають налаштування температури, налаштовані вручну.
Реалізація в реальному світі
Створення художньої літератури чи поезії, де жадібне декодування створює нудну, повторювану прозу, а письменники хочуть більшої природної різноманітності.
Потужність відповідей чат-бота, які уникають роботизованих, шаблонних фраз, залишаючись узгодженими та відповідаючи на тему.
Доступний як прапор декодування (typical_p) у Hugging Face Transformers для розробників, які налаштовують вихід моделі з відкритим кодом.
Використовується в локальних середовищах виконання LLM, таких як llama.cpp і text-generation-webui, як альтернатива top-p для багатшого, менш виродженого тексту.
Ризики та огорожі
Галюциновані факти можуть непомітно входити у звіти, допоміжні потоки або результати досліджень.
Делікатність підказок може створити суперечливі результати для подібних запитів.
Конфіденційні текстові дані можуть бути розкриті, якщо контроль доступу слабкий.
Дорожня карта впровадження
Визначте вихідний формат, тон і стандарти якості перед розгортанням.
Якщо точність має значення, зв’яжіться з надійними джерелами.
Тримайте контрольну точку перевірки людьми для отримання високих ставок.
Відстежуйте моделі збоїв і регулярно перенавчайте підказки або робочі процеси.
Продовжуйте досліджувати
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Typical Sampling quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Наступний посібник
Перевірка спекулятивної вибірки
Часті запитання
What is Typical Sampling?
Типова вибірка — це метод генерації тексту, який вибирає наступне слово з токенів, інформаційний вміст яких близький до очікуваного сюрпризу моделі, замість того, щоб завжди вибирати найімовірніші. Він націлений на вихід, який виглядає природним і схожим на людину, завдяки тому, як справжня мова поєднує передбачуваність і новизну.
З якою основною величиною типова вибірка порівнює кожен токен-кандидат?
Типова вибірка вимірює, наскільки далеко сюрприз кожного токена знаходиться від ентропії розподілу, очікуваного інформаційного вмісту, зберігаючи токени, сюрприз яких найближче до цього середнього.
Як типова вибірка розглядає єдиний найбільш вірогідний маркер?
Токен із дуже високою ймовірністю має дуже низький рівень подиву, який може бути далеким від середнього, тому типова вибірка може виключити його з набору кандидатів на користь більш «типових» токенів.
Якою ідеєю про людську мову була мотивована типова вибірка?
Метод спирається на гіпотезу про те, що природна мова залишається близькою до рівномірної швидкості інформації, тому він надає перевагу лексемам, які несуть подив, близький до середнього.
Що визначає параметр тау у типовому контролі вибірки?
Tau встановлює цільову кумулятивну ймовірність; маркери, найближчі до ентропії, додаються, доки їх сукупна ймовірність не досягне значення tau, визначаючи набір для вибірки.
У якому програмному забезпеченні типова вибірка зазвичай надається розробникам?
Типова вибірка реалізована як параметр декодування (наприклад, типичне_p) у бібліотеках, таких як Hugging Face Transformers, і локальних середовищах виконання, як-от llama.cpp.