Прогноз следующего токена
Прогнозирование следующего токена — это обманчиво простая цель моделей в стиле GPT: учитывая все, что есть на данный момент, угадать следующий фрагмент текста.
Обзор
Repeated billions of times, this single task produces models that write, reason, and converse.
Глубокое погружение
Прогнозирование следующего токена обучает модель назначению вероятностей следующему токену с учетом всех предыдущих токенов. Текст сначала разбивается на токены (части подслов) с помощью токенизатора, такого как кодирование парами байтов. Трансформатор, предназначенный только для декодера, считывает последовательность слева направо и выводит распределение вероятностей по всему словарю для следующей позиции. Во время обучения модели отображаются массивные текстовые блоки и наказывается всякий раз, когда она присваивает низкую вероятность фактическому следующему токену. Во время генерации модель выбирает или жадно выбирает токен, добавляет его и повторяет этот цикл авторегрессионно. Эта единственная цель замечательно масштабируется: GPT-2, GPT-3 и последующие модели изучали грамматику, факты, перевод и рассуждения исключительно благодаря тому, что очень хорошо научились предсказывать следующий токен.
Техническая информация
Ключевым механизмом является причинное (замаскированное) внимание к себе: при прогнозировании позиции N модель может учитывать только позиции с 1 по N-1, но не будущее. Выходной слой проецирует окончательное скрытое состояние на словарь и применяет softmax для получения вероятностей. Обучение минимизирует перекрестную энтропию, что эквивалентно максимизации вероятности наблюдаемого текста. Элементы управления выборкой, такие как температура и top-p, изменяют это распределение при выводе, чтобы сбалансировать креативность и надежность.
Стратегическое воздействие
Скорость и масштаб
Языковые рабочие процессы могут развиваться быстрее, не жертвуя при этом согласованностью.
Доступ и охват
Это расширяет доступ к различным языкам и стилям общения.
Более четкие решения
Команды могут тратить больше времени на принятие решений, в то время как автоматизация занимается повторением.
Будущее прогнозирования следующих токенов
Прогнозирование следующего токена лежит в основе практически всех современных моделей большого языка и останется основой генеративного ИИ. Исследования расширяют его за счет более длинных контекстных окон, спекулятивного и параллельного декодирования для повышения скорости и целей прогнозирования нескольких токенов, которые угадывают несколько будущих токенов одновременно. Подкрепление обучения на основе слоев обратной связи с людьми для согласования результатов. Передовые технологии делают одну и ту же простую задачу дешевле, быстрее и более контролируемой в еще большем масштабе.
Реальная реализация
Включение ChatGPT и подобных помощников для генерации диалоговых ответов по одному токену за раз.
Автозаполнение и предложения кода в таких инструментах, как GitHub Copilot, по мере ввода.
Составление электронных писем, статей и маркетинговых текстов с помощью короткой подсказки.
Генерация текста в реальном времени с помощью помощников по написанию, которые заканчивают ваши предложения.
Риски и ограничения
Галлюцинированные факты могут незаметно войти в отчеты, потоки поддержки или результаты исследований.
Незамедлительная чувствительность может привести к противоречивым результатам по схожим запросам.
Конфиденциальные текстовые данные могут быть раскрыты, если контроль доступа слабый.
Дорожная карта реализации
Перед развертыванием определите выходной формат, тон и стандарты качества.
Наземные ответы с помощью надежных источников, когда точность имеет значение.
Обеспечьте контрольную точку человеческого контроля для получения важных результатов.
Отслеживайте закономерности сбоев и регулярно обновляйте подсказки или рабочие процессы.
Продолжайте исследовать
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Next-Token Prediction quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Следующее руководство
Обучение прогнозированию мультитокенов
Часто задаваемые вопросы
What is Next-Token Prediction?
Прогнозирование следующего токена — это обманчиво простая цель моделей в стиле GPT: учитывая все, что есть на данный момент, угадать следующий фрагмент текста. Эта единственная задача, повторяемая миллиарды раз, создает модели, которые пишут, рассуждают и общаются.
Что выдает модель прогнозирования следующего токена на каждом этапе?
Модель вычисляет вероятность для каждого возможного следующего токена, затем один из них выбирается посредством выборки или жадного выбора.
Какой тип внимания использует декодер в стиле GPT?
Причинное маскирование гарантирует, что позиция N может видеть только позиции перед ней, сохраняя настройку прогнозирования слева направо.
Что здесь означает «авторегрессионное» поколение?
Генерация авторегрессии создает один токен, добавляет его в контекст и повторяет цикл.
Какая функция потерь обычно минимизируется во время обучения?
Перекрестная энтропия наказывает модель за присвоение низкой вероятности истинному следующему токену, что эквивалентно максимизации вероятности.
Что дает повышение температуры во время отбора проб?
Более высокая температура выравнивает распределение вероятностей, увеличивая случайность; более низкая температура делает выбор более консервативным.