ДалееСледующее руководство
Как подсказать модели рассуждения
Языковой ИИ
РУКОВОДСТВО ПО ЯЗЫКУ ИИ
Усилия на рассуждение и бюджеты на мышление — это настройки моделей рассуждения, которые контролируют, сколько внутренней пошаговой работы выполняет модель перед ответом.
Прослушайте это руководствоОзвучено ИИ · ~3 min
Больше размышлений часто улучшают результаты в решении сложных задач, таких как математика, программирование и многоэтапный анализ, но это увеличивает затраты и задержки, а после определенного момента перестает помогать. Выбор правильного уровня для каждой задачи — один из самых простых способов сбалансировать качество, скорость и цену.
Модели рассуждения обучены производить цепочку промежуточных рассуждений перед окончательным ответом. Это рассуждение, как и ответ, состоит из токенов, и его создание требует времени и денег. Провайдеры позволяют вам контролировать, сколько всего этого происходит. OpenAI предоставляет параметр Reasoning_effort в своих моделях рассуждений с такими уровнями, как низкий, средний и высокий; некоторые новые модели добавляют минимальный уровень. Расширенное мышление Anthropic о поддерживаемых моделях Claude принимает значение Budget_tokens, которое устанавливает максимальное количество токенов, которые Claude может использовать для мышления; бюджет имеет минимум 1024 токена и должен быть меньше max_tokens. Модели Gemini 2.5 от Google рассчитаны на разумный бюджет, а некоторые из них могут отключать или отключать мышление. Названия разные, но идея одна: выбор между быстрым и тщательным. Эти настройки являются ориентировочными, а не точными. Модель с большим бюджетом может использовать только его часть для решения простого вопроса, а уровень усилий меняет поведение, а не фиксирует число. Стоимость — это то, что люди часто упускают из виду. Токены рассуждения обычно считаются выходными токенами, даже если вы их не видите, а выходные токены обычно стоят дороже, чем входные токены. Короткий видимый ответ может нести в себе большой скрытый счет. Задержка также растет, поскольку каждый токен рассуждения генерируется последовательно. Большее размышление имеет уменьшающуюся отдачу. В простых или фактических вопросах поиска дополнительные рассуждения редко повышают точность и иногда могут привести к тому, что модель будет слишком усложняться или сомневаться в правильном ответе. Наибольший выигрыш достигается в тех проблемах, которые действительно требуют нескольких шагов. Распространенным заблуждением является то, что самые высокие настройки всегда лучше. Практический подход заключается в том, чтобы протестировать собственные задачи на нескольких уровнях и выбрать самый низкий уровень, соответствующий вашей планке качества.
Бот службы поддержки клиентов, отвечающий на простые вопросы о заказе, требует минимум усилий на рассуждение, что позволяет отвечать быстро и дешево, не нанося ущерба точности.
Разработчик, отлаживающий сложную ошибку параллелизма, переключается на высокие усилия для этого одного запроса и получает правильный диагноз, пропущенный низкий уровень.
Команда, использующая расширенное мышление Anthropic, устанавливает бюджет в несколько тысяч токенов для регулярной проверки документов и гораздо больший бюджет только для пунктов контракта, помеченных как необычные.
Аналитик выполняет один и тот же набор из 50 тестовых вопросов с низким, средним и высоким уровнем усилий и находит средние соответствия с высокой точностью для своих задач с меньшими затратами, поэтому они стандартизируют средний уровень.
Поставщики услуг переходят к моделям, которые сами решают, сколько времени нужно думать, при этом настройки усилий действуют как границы, а не как фиксированные инструкции; Например, новые модели Anthropic предлагают адаптивное мышление, а некоторые продукты уже автоматически переключаются между быстрым режимом и режимом рассуждения. Продолжаются исследования, направленные на повышение эффективности рассуждений, чтобы при одинаковой точности требовалось меньше жетонов. Названия параметров, допустимые значения и цены менялись несколько раз и, скорее всего, будут меняться и дальше, поэтому воспринимайте текущие настройки как детали, специфичные для поставщика, и повторно проводите собственные оценки при обновлении моделей.
Бесплатная рассылка
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
Усилия на рассуждение и бюджеты на мышление — это настройки моделей рассуждения, которые контролируют, сколько внутренней пошаговой работы выполняет модель перед ответом. Больше размышлений часто улучшают результаты в решении сложных задач, таких как математика, программирование и многоэтапный анализ, но это увеличивает затраты и задержки, а после определенного момента перестает помогать. Выбор правильного уровня для каждой задачи — один из самых простых способов сбалансировать качество, скорость и цену.
Эти настройки регулируют, сколько промежуточных рассуждений генерирует модель рассуждения перед окончательным ответом.
Токены рассуждения обычно считаются выходными токенами, которые обычно стоят дороже, чем входные, даже если они не отображаются.
Бюджет имеет минимум 1024 токена и должен быть ниже max_tokens, чтобы было место для ответа.
Бюджеты — это верхние пределы и ориентиры. В простых вопросах модель часто использует гораздо меньше.
Наибольший выигрыш достигается при решении многоэтапных задач. Легкие задачи редко приносят пользу и даже могут пострадать от чрезмерного обдумывания.
Продолжайте учиться
Другие руководства, выбранные по этой теме
ДалееСледующее руководство
Как подсказать модели рассуждения
Языковой ИИ