Обучение прогнозированию мультитокенов
Вместо того, чтобы предсказывать только следующий токен, модель обучена прогнозировать сразу несколько будущих токенов.
Обзор
This sharpens learning signals and unlocks faster inference through self-speculative decoding.
Глубокое погружение
Стандартные языковые модели обучаются с помощью прогнозирования следующего токена: с учетом контекста прогнозируйте один следующий токен. Прогнозирование нескольких токенов (MTP), популяризированное в документе Meta 2024 года и принятое в DeepSeek-V3, добавляет дополнительные облегченные выходные головки, поэтому модель одновременно прогнозирует следующий токен, а также 2-й, 3-й и 4-й токены вперед из того же скрытого состояния. Это заставляет сеть планировать дальше на будущее и уплотняет обучающий сигнал — теперь каждая позиция вносит несколько условий потерь. Meta сообщил о особенно больших успехах в кодировании и порождающем рассуждении, причем более крупные модели принесли больше пользы. Важно отметить, что после обучения лишние головки можно отбросить, поэтому размер модели при развертывании не должен увеличиваться.
Техническая информация
MTP прикрепляет n независимых головок прогнозирования поверх общего магистрального трансформатора; head k предсказывает токен в позиции t+k на основе представления в позиции t. Потери суммируются в процессе обучения. При выводе вспомогательные головки обеспечивают самоспекулятивное декодирование: модель предлагает несколько токенов за один проход, затем проверяет их, обеспечивая примерно в 3 раза более быструю генерацию без изменения выходного распределения.
Стратегическое воздействие
Скорость и масштаб
Языковые рабочие процессы могут развиваться быстрее, не жертвуя при этом согласованностью.
Доступ и охват
Это расширяет доступ к различным языкам и стилям общения.
Более четкие решения
Команды могут тратить больше времени на принятие решений, в то время как автоматизация занимается повторением.
Будущее обучения прогнозированию мультитокенов
MTP становится стандартным ингредиентом в рецептах передового обучения, поскольку он улучшает качество и скорость вывода при небольших затратах. Ожидайте более тесной интеграции со спекулятивным декодированием, более глубокими горизонтами прогнозирования и использования в качестве вспомогательной цели, улучшающей долгосрочное планирование. В сочетании с моделями рассуждений прогнозирование на несколько шагов вперед может помочь моделям внутренне смоделировать последствия, прежде чем принять ответ.
Реальная реализация
DeepSeek-V3 использует цель MTP во время предварительной подготовки для повышения эффективности данных и обеспечения спекулятивного декодирования.
Модели генерации кода Meta, показывающие повышение точности HumanEval и MBPP за счет прогнозирования нескольких токенов
Самоспекулятивное декодирование: составление 3-4 токенов за один прямой проход, а затем проверка на более быстрый вывод с сохранением распределения.
Более быстрое автозаполнение в помощниках по кодированию, где предлагается и проверяется несколько вероятных токенов за один шаг.
Риски и ограничения
Галлюцинированные факты могут незаметно войти в отчеты, потоки поддержки или результаты исследований.
Незамедлительная чувствительность может привести к противоречивым результатам по схожим запросам.
Конфиденциальные текстовые данные могут быть раскрыты, если контроль доступа слабый.
Дорожная карта реализации
Перед развертыванием определите выходной формат, тон и стандарты качества.
Наземные ответы с помощью надежных источников, когда точность имеет значение.
Обеспечьте контрольную точку человеческого контроля для получения важных результатов.
Отслеживайте закономерности сбоев и регулярно обновляйте подсказки или рабочие процессы.
Продолжайте исследовать
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Multi-Token Prediction Training quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Следующее руководство
Спекулятивная потоковая передача и прогнозирование с использованием нескольких токенов
Часто задаваемые вопросы
What is Multi-Token Prediction Training?
Вместо того, чтобы предсказывать только следующий токен, модель обучена прогнозировать сразу несколько будущих токенов. Это обостряет обучающие сигналы и обеспечивает более быстрый вывод посредством самоспекулятивного декодирования.
Что добавляет прогнозирование с использованием нескольких токенов по сравнению со стандартным обучением по следующему токену?
MTP добавляет дополнительные выходные головки, поэтому модель прогнозирует следующий токен плюс несколько токенов дальше из одного скрытого состояния.
Какая модель особенно использовала цель прогнозирования нескольких токенов при предварительном обучении?
В DeepSeek-V3 была принята цель обучения MTP, чтобы повысить эффективность данных и обеспечить спекулятивное декодирование.
Почему MTP уплотняет обучающий сигнал?
Прогнозирование нескольких будущих токенов означает, что каждая позиция токена приводит к нескольким потерям прогнозирования, что дает больше сигнала обучения на токен.
Какую пользу от вывода дают дополнительные прогнозирующие головки?
Вспомогательные головки могут создавать несколько токенов за проход, которые затем проверяются, что ускоряет генерацию без изменения выходного распределения.
Что происходит со вспомогательными головками после тренировки, если не нужны ускорения?
Дополнительные головки не являются обязательными при развертывании; их отбрасывание сохраняет тот же размер модели, что и стандартная модель следующего токена.