ДалееСледующее руководство
Оценка затрат LLM API и бюджетов токенов
Технический
Техническое РУКОВОДСТВО
Максимальное количество токенов — это ограничение на то, сколько токенов модель может сгенерировать за один ответ, а стоп-последовательности — это строки, которые заканчивают генерацию, как только модель их создает.
Прослушайте это руководствоОзвучено ИИ · ~3 min
Вместе с причиной возврата API они определяют, где заканчивается ответ, и сообщают вам, завершился ли он естественным образом или был прерван. Правильное их решение предотвращает появление усеченного JSON, незавершенных ответов и напрасных затрат.
Языковая модель генерирует один токен за раз, пока что-то не прикажет ей остановиться. Есть три распространенные причины, по которым он останавливается. Он создает свой собственный жетон конца хода, что означает, что он решил, что ответ завершен. Он достигает максимально разрешенного вами количества выходных токенов. Или он создает текст, соответствующий одной из ваших стоп-последовательностей. Макс. токены часто путают с контекстным окном. Контекстное окно — это общее количество токенов, которые модель может обрабатывать одновременно, ввод плюс вывод. Максимальное количество токенов ограничивает только вывод одного вызова. Модель с очень большим контекстным окном все равно может выдавать короткие ответы, если максимальное количество токенов установлено низким, а ввод плюс максимальное количество токенов обычно должны помещаться внутри контекстного окна. API сообщают, почему генерация закончилась. API-интерфейс Chat Completions OpenAI возвращает Finish_reason, например «stop» для естественного конца или согласованной последовательности остановки, «длину», когда был достигнут предел вывода, и «tool_calls», когда модель хочет вызвать инструмент. API сообщений Anthropic возвращает stop_reason, например «end_turn», «max_tokens», «stop_sequence» или «tool_use». Anthropic требует max_tokens для каждого запроса. Для своих моделей рассуждений OpenAI представил max_completion_tokens, который подсчитывает скрытые жетоны рассуждения, а также видимый вывод. Последовательности остановки полезны для структурированных форматов: заканчиваются после закрывающего тега, останавливаются перед меткой говорящего или обрезаются после одного элемента списка. Соответствующий текст обычно не включается в возвращаемый вывод, поэтому код не должен его видеть. Самая распространенная ошибка — игнорирование причины финиша. Усеченный ответ может выглядеть правдоподобно, особенно в прозе, тогда как структурированный вывод просто ломается. Еще одно заблуждение заключается в том, что низкое максимальное количество токенов заставляет модель писать лаконично. Это не так; модель пишет как обычно и обрезается. Попросите краткость в подсказке и используйте ограничение в качестве ограничения безопасности.
Сумматор устанавливает максимальное количество токенов равным 150, а некоторые резюме заканчиваются на середине предложения; проверка причины завершения показывает «длину» этих вызовов, поэтому приложение увеличивает предел и вместо этого запрашивает в приглашении более короткие сводки.
Скрипт, извлекающий данные в формате JSON, не может проанализировать примерно один ответ из пятидесяти; каждая ошибка достигла предела вывода, поэтому теперь код повторяет попытку с более высоким пределом, когда причина завершения сообщает, что вывод был усечен.
Разработчик, генерирующий одну строку диалога за раз, использует последовательность остановки «Пользователь:», поэтому модель не продолжает работу и не записывает также следующую строку пользователя.
Команда, переходящая к модели рассуждения, обнаруживает, что ответы возвращаются пустыми, поскольку скрытые рассуждения израсходовали лимит вывода, поэтому они повышают лимит, чтобы оставить место как для рассуждений, так и для ответа.
Ограничения вывода выросли, поскольку модели поддерживают более длинные поколения, а функции структурированного вывода, которые ограничивают ответы на схему, уменьшают, но не устраняют риск усечения, поскольку достаточно длинный ответ все еще может достичь предела. Модели рассуждений сделали бюджетирование результатов более важным, поскольку скрытые токены теперь имеют один и тот же лимит. Имена параметров и значения причины завершения различаются у разных поставщиков и со временем менялись, поэтому имеет смысл проверить текущую документацию и поместить эти детали в небольшой слой собственного кода.
Бесплатная рассылка
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
Максимальное количество токенов — это ограничение на то, сколько токенов модель может сгенерировать за один ответ, а стоп-последовательности — это строки, которые заканчивают генерацию, как только модель их создает. Вместе с причиной возврата API они определяют, где заканчивается ответ, и сообщают вам, завершился ли он естественным образом или был прерван. Правильное их решение предотвращает появление усеченного JSON, незавершенных ответов и напрасных затрат.
Максимальное количество токенов ограничивает вывод за один вызов. Контекстное окно — это отдельный общий лимит, охватывающий ввод и вывод.
«длина» означает, что генерация остановлена, поскольку был достигнут предел вывода, поэтому ответ может быть неполным.
«end_turn» означает, что модель завершилась естественным образом. «max_tokens» означает, что он был обрезан, а «stop_sequence» означает, что одна из ваших строк совпала.
Ограничение — это жесткая остановка, а не инструкция. Попросите краткость в подсказке и сохраните ограничение в качестве ограничения безопасности.
Остановочные последовательности завершают генерацию и обычно не включаются в возвращаемый вывод, поэтому вашему коду не следует полагаться на их просмотр.
Продолжайте учиться
Другие руководства, выбранные по этой теме
ДалееСледующее руководство
Оценка затрат LLM API и бюджетов токенов
Технический