Техническое РУКОВОДСТВО

Максимальное количество токенов и стоп-последовательности

Максимальное количество токенов — это ограничение на то, сколько токенов модель может сгенерировать за один ответ, а стоп-последовательности — это строки, которые заканчивают генерацию, как только модель их создает.

Прослушайте это руководствоОзвучено ИИ · ~3 min

На этой странице4 минуты чтения
  1. Обзор
  2. Глубокое погружение
  3. Реальная реализация
  4. Будущее токенов Max и стоп-последовательностей
  5. Применение на практике
  6. Продолжайте исследовать
  7. Часто задаваемые вопросы

Обзор

Вместе с причиной возврата API они определяют, где заканчивается ответ, и сообщают вам, завершился ли он естественным образом или был прерван. Правильное их решение предотвращает появление усеченного JSON, незавершенных ответов и напрасных затрат.

Глубокое погружение

Языковая модель генерирует один токен за раз, пока что-то не прикажет ей остановиться. Есть три распространенные причины, по которым он останавливается. Он создает свой собственный жетон конца хода, что означает, что он решил, что ответ завершен. Он достигает максимально разрешенного вами количества выходных токенов. Или он создает текст, соответствующий одной из ваших стоп-последовательностей. Макс. токены часто путают с контекстным окном. Контекстное окно — это общее количество токенов, которые модель может обрабатывать одновременно, ввод плюс вывод. Максимальное количество токенов ограничивает только вывод одного вызова. Модель с очень большим контекстным окном все равно может выдавать короткие ответы, если максимальное количество токенов установлено низким, а ввод плюс максимальное количество токенов обычно должны помещаться внутри контекстного окна. API сообщают, почему генерация закончилась. API-интерфейс Chat Completions OpenAI возвращает Finish_reason, например «stop» для естественного конца или согласованной последовательности остановки, «длину», когда был достигнут предел вывода, и «tool_calls», когда модель хочет вызвать инструмент. API сообщений Anthropic возвращает stop_reason, например «end_turn», «max_tokens», «stop_sequence» или «tool_use». Anthropic требует max_tokens для каждого запроса. Для своих моделей рассуждений OpenAI представил max_completion_tokens, который подсчитывает скрытые жетоны рассуждения, а также видимый вывод. Последовательности остановки полезны для структурированных форматов: заканчиваются после закрывающего тега, останавливаются перед меткой говорящего или обрезаются после одного элемента списка. Соответствующий текст обычно не включается в возвращаемый вывод, поэтому код не должен его видеть. Самая распространенная ошибка — игнорирование причины финиша. Усеченный ответ может выглядеть правдоподобно, особенно в прозе, тогда как структурированный вывод просто ломается. Еще одно заблуждение заключается в том, что низкое максимальное количество токенов заставляет модель писать лаконично. Это не так; модель пишет как обычно и обрезается. Попросите краткость в подсказке и используйте ограничение в качестве ограничения безопасности.

Реальная реализация

Сумматор устанавливает максимальное количество токенов равным 150, а некоторые резюме заканчиваются на середине предложения; проверка причины завершения показывает «длину» этих вызовов, поэтому приложение увеличивает предел и вместо этого запрашивает в приглашении более короткие сводки.

Скрипт, извлекающий данные в формате JSON, не может проанализировать примерно один ответ из пятидесяти; каждая ошибка достигла предела вывода, поэтому теперь код повторяет попытку с более высоким пределом, когда причина завершения сообщает, что вывод был усечен.

Разработчик, генерирующий одну строку диалога за раз, использует последовательность остановки «Пользователь:», поэтому модель не продолжает работу и не записывает также следующую строку пользователя.

Команда, переходящая к модели рассуждения, обнаруживает, что ответы возвращаются пустыми, поскольку скрытые рассуждения израсходовали лимит вывода, поэтому они повышают лимит, чтобы оставить место как для рассуждений, так и для ответа.

Будущее токенов Max и стоп-последовательностей

Ограничения вывода выросли, поскольку модели поддерживают более длинные поколения, а функции структурированного вывода, которые ограничивают ответы на схему, уменьшают, но не устраняют риск усечения, поскольку достаточно длинный ответ все еще может достичь предела. Модели рассуждений сделали бюджетирование результатов более важным, поскольку скрытые токены теперь имеют один и тот же лимит. Имена параметров и значения причины завершения различаются у разных поставщиков и со временем менялись, поэтому имеет смысл проверить текущую документацию и поместить эти детали в небольшой слой собственного кода.

Применение на практике

Почему это важно

  • Стоимость и бюджет. Архитектурные решения влияют на производительность и эксплуатационные расходы на протяжении многих лет.
  • Более четкие решения. Техническое образование помогает командам выбрать правильный стек, а не только самый новый.
  • Контроль качества. Лучший инженерный выбор снижает вероятность возникновения проблем с надежностью на производстве.

Следите за

  • Оптимизация одного теста может скрыть более широкие недостатки системы.
  • Затраты на инфраструктуру и техническое обслуживание часто недооцениваются.
  • Пробелы в безопасности и наблюдаемости могут увеличиваться по мере усложнения систем.

Следующие шаги

  1. Определите целевые показатели задержки, качества и стоимости перед внедрением.
  2. Тестирование при реалистичной нагрузке и условиях данных.
  3. Мониторинг прибора на наличие ошибок, дрейфа и влияния пользователя.
  4. Перед масштабированием подготовьте пути отката и реагирования на инциденты.

Продолжайте исследовать

Бесплатная рассылка

Получайте ежедневный AI-обзор

Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.

Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.

Проверьте себя

Пройдите викторину «Максимальное количество токенов и последовательности остановки»

Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.

Начать тест

Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование

Часто задаваемые вопросы

Что такое максимальное количество токенов и стоп-последовательности?

Максимальное количество токенов — это ограничение на то, сколько токенов модель может сгенерировать за один ответ, а стоп-последовательности — это строки, которые заканчивают генерацию, как только модель их создает. Вместе с причиной возврата API они определяют, где заканчивается ответ, и сообщают вам, завершился ли он естественным образом или был прерван. Правильное их решение предотвращает появление усеченного JSON, незавершенных ответов и напрасных затрат.

Что ограничивает максимальное количество токенов?

Максимальное количество токенов ограничивает вывод за один вызов. Контекстное окно — это отдельный общий лимит, охватывающий ввод и вывод.

Ваш вызов возвращает причину завершения «длины» в API OpenAI. Что случилось?

«длина» означает, что генерация остановлена, поскольку был достигнут предел вывода, поэтому ответ может быть неполным.

Какой Anthropic stop_reason указывает на то, что модель решила, что ее ответ завершен?

«end_turn» означает, что модель завершилась естественным образом. «max_tokens» означает, что он был обрезан, а «stop_sequence» означает, что одна из ваших строк совпала.

Почему установка низкого максимального значения токенов не делает ответы краткими?

Ограничение — это жесткая остановка, а не инструкция. Попросите краткость в подсказке и сохраните ограничение в качестве ограничения безопасности.

Соответствующая последовательность остановки обычно включается в возвращаемый текст?

Остановочные последовательности завершают генерацию и обычно не включаются в возвращаемый вывод, поэтому вашему коду не следует полагаться на их просмотр.

Продолжайте учиться

Связанные руководства

Другие руководства, выбранные по этой теме

Получите бесплатный AI-сертификатКороткий бесплатный курс и экзамен. Без стоимости, без карты. Около 2,5 часов.Начать бесплатно →