Next-Token Prediction
Передбачення наступного маркера — це оманливо проста мета, що стоїть за моделями у стилі GPT: враховуючи все наразі, вгадайте наступну частину тексту.
Огляд
Repeated billions of times, this single task produces models that write, reason, and converse.
Глибоке занурення
Прогноз наступного маркера навчає модель призначати ймовірності наступному маркеру з урахуванням усіх попередніх маркерів. Текст спочатку розбивається на лексеми (частини підслова) за допомогою токенізера, наприклад кодування пар байтів. Трансформатор лише з декодером зчитує послідовність зліва направо та виводить розподіл ймовірностей по всьому словнику для наступної позиції. Під час навчання моделі показуються масивні текстові корпуси та штрафуються щоразу, коли вона призначає низьку ймовірність фактичному наступному маркеру. Під час генерації модель вибірково або жадібно вибирає маркер, додає його та повторює цей цикл авторегресійно. Ця єдина ціль надзвичайно масштабна: GPT-2, GPT-3 і наступники вивчили граматику, факти, переклад і міркування виключно завдяки гарному прогнозуванню наступного токена.
Технічне розуміння
Ключовим механізмом є причинна (замаскована) самоувага: при прогнозуванні позиції N модель може звертати увагу лише на позиції 1–N-1, ніколи не на майбутнє. Вихідний рівень проектує остаточний прихований стан на словник і застосовує softmax для отримання ймовірностей. Навчання мінімізує крос-ентропію, що еквівалентно максимізації ймовірності спостережуваного тексту. Контроль вибірки, як-от температура та top-p, змінює цей розподіл під час висновку, щоб поміняти креативність і надійність.
Стратегічний вплив
Швидкість і масштаб
Мовні робочі процеси можуть рухатися швидше без шкоди для узгодженості.
Доступ і охоплення
Це розширює доступ до різних мов і стилів спілкування.
Чіткіші рішення
Команди можуть витрачати більше часу на оцінювання, поки автоматизація справляється з повторенням.
Майбутнє прогнозування наступного токена
Прогноз наступного маркера лежить в основі практично всіх сучасних великих мовних моделей і залишатиметься основою генеративного ШІ. Дослідження розширюють його довшими контекстними вікнами, спекулятивним і паралельним декодуванням для збільшення швидкості та цілями передбачення з кількома маркерами, які вгадують кілька майбутніх маркерів одночасно. Навчання з підкріпленням із рівнями зворотного зв’язку людини на вершині для вирівнювання результатів. Кордон робить ту саму просту мету дешевшою, швидшою та керованою у все більшому масштабі.
Реалізація в реальному світі
Забезпечення ChatGPT та подібних помічників для генерування розмовних відповідей по одному маркеру за раз.
Автозаповнення та пропозиції коду в таких інструментах, як GitHub Copilot, під час введення.
Складання електронних листів, статей і маркетингових текстів за допомогою короткої підказки.
Генерація тексту в реальному часі в помічниках з написання, які закінчують ваші речення.
Ризики та огорожі
Галюциновані факти можуть непомітно входити у звіти, допоміжні потоки або результати досліджень.
Делікатність підказок може створити суперечливі результати для подібних запитів.
Конфіденційні текстові дані можуть бути розкриті, якщо контроль доступу слабкий.
Дорожня карта впровадження
Визначте вихідний формат, тон і стандарти якості перед розгортанням.
Якщо точність має значення, зв’яжіться з надійними джерелами.
Тримайте контрольну точку перевірки людьми для отримання високих ставок.
Відстежуйте моделі збоїв і регулярно перенавчайте підказки або робочі процеси.
Продовжуйте досліджувати
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Next-Token Prediction quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Наступний посібник
Навчання мультитокенному прогнозуванню
Часті запитання
What is Next-Token Prediction?
Передбачення наступного маркера — це оманливо проста мета, що стоїть за моделями у стилі GPT: враховуючи все наразі, вгадайте наступну частину тексту. Це єдине завдання, яке повторюється мільярди разів, створює моделі, які пишуть, розмірковують і розмовляють.
Що виводить модель передбачення наступного токена на кожному кроці?
Модель створює ймовірність для кожного можливого наступного токена, потім один вибирається за допомогою вибірки або жадібного вибору.
Який тип уваги використовує декодер у стилі GPT?
Причинне маскування гарантує, що позиція N може бачити лише позиції перед нею, зберігаючи налаштування передбачення зліва направо.
Що тут означає «авторегресійне» покоління?
Авторегресійна генерація створює один токен, додає його до контексту та повторює цикл.
Яка функція втрат зазвичай мінімізується під час навчання?
Перехресна ентропія карає модель за призначення низької ймовірності справжньому наступному маркеру, що еквівалентно максимізації ймовірності.
Що робить підвищення температури під час відбору зразків?
Більш висока температура вирівнює розподіл ймовірностей, збільшуючи випадковість; нижча температура робить вибір більш консервативним.