ДалееСледующее руководство
Цепочка мыслей
Языковой ИИ
РУКОВОДСТВО ПО ЯЗЫКУ ИИ
Подсказка по цепочке мыслей требует от модели промежуточных рассуждений перед ответом.
Прослушайте это руководствоОзвучено ИИ · ~3 min
Это может помочь в некоторых многоэтапных задачах, но исследования показывают, что эффект зависит от задачи и модели; для некоторых задач дополнительное обдумывание может снизить производительность, увеличить задержку или не принести никакой пользы.
Подсказка цепочки мыслей (CoT) просит модель записать промежуточные шаги перед окончательным ответом. Этот метод стал популярным после того, как исследования показали преимущества некоторых критериев многоэтапного рассуждения. Но «просить аргументировать» не является универсальным улучшением. В документе ICML 2025 года оценивались шесть задач, взятых из психологических исследований, размышления над которыми могут нанести вред человеческой деятельности. Исследователи обнаружили значительные падения, связанные с CoT, для современных моделей при выполнении трех задач, в то время как результаты по остальным задачам были неоднозначными. Это исследование свидетельствует о том, что производительность может снижаться в определенных условиях; он не показывает, что CoT обычно вредит моделям, и не определяет одно правило, которое предсказывает каждую задачу. Дополнительные записанные шаги также имеют практическую ценность: они используют выходное пространство и могут увеличить задержку. Дополнительный текст может ввести неподтвержденное предположение, которое модель затем учитывает в своем ответе. Объяснение не следует путать с точным описанием внутреннего процесса или доказательством правильности вывода. Для моделей рассуждения соответствующие подсказки могут отличаться. Текущее руководство по API OpenAI, например, рекомендует избегать инструкций «думать шаг за шагом» для своих моделей рассуждения, в то время как в его руководстве для конкретной модели для некоторых моделей, не требующих рассуждения, могут обсуждаться другие подходы к подсказкам. Следуйте документации к тестируемой модели. Выбирайте на основе данных из задания. Сравните прямые варианты и варианты CoT на одних и тех же репрезентативных примерах, используйте предопределенное правило оценки и включите ограничения на задержку или токены, если они важны для приложения. Придерживайтесь подхода только тогда, когда он улучшает требуемые результаты без неприемлемых затрат. Для принятия важных решений независимые проверки и экспертная оценка имеют большее значение, чем то, отображает ли модель объяснение. Не думайте, что более подробное обоснование по своей сути является более прозрачным, надежным или безопасным.
Команда сравнивает прямые ответы с пошаговыми подсказками по набору собственных коротких задач классификации, прежде чем принять значение по умолчанию.
Служба с малой задержкой проверяет, достаточно ли дополнительное объяснение меняет точность, чтобы оправдать дополнительное время ответа.
Исследователь использует опубликованную оценку для определения типов задач, в которых производительность конкретной модели падает из-за подсказок цепочки мыслей.
Автор подсказки, тестирующий модель рассуждения OpenAI, следует рекомендации поставщика не запрашивать цепочку мыслей, а затем оценивает ответ по критериям задачи.
Исследования будут продолжать определять, какие комбинации задач и моделей выигрывают от явного промежуточного текста, а какие нет. Продукты, способные рассуждать, также могут предоставлять элементы управления, специфичные для модели, которые делают старые рецепты подсказок менее актуальными. Команды должны сохранять результаты оценки привязанными к версиям и данным и повторно запускать сравнения при их изменении. Стабильный принцип заключается в том, чтобы протестировать технику подсказок на примере задачи, а не рассматривать ее как универсальный стандарт по умолчанию. Это увязывает результаты с фактическим использованием, а не с широкими предположениями.
Бесплатная рассылка
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
Подсказка по цепочке мыслей требует от модели промежуточных рассуждений перед ответом. Это может помочь в некоторых многоэтапных задачах, но исследования показывают, что эффект зависит от задачи и модели; для некоторых задач дополнительное обдумывание может снизить производительность, увеличить задержку или не принести никакой пользы.
Руководство определяет CoT как запрос промежуточных рассуждений перед окончательным ответом.
В документе сообщается о значительных падениях моделей по трем из шести задач и неоднозначных результатах по остальным.
В руководстве подчеркивается, что выводы статьи из шести задач ограничены и не доказывают общего вреда.
В руководстве отмечается, что письменные шаги занимают пространство вывода и могут увеличить время ответа.
Руководство предостерегает от того, чтобы рассматривать объяснение как доказательство правильности или верного внутреннего рассуждения.
Продолжайте учиться
Другие руководства, выбранные по этой теме
ДалееСледующее руководство
Цепочка мыслей
Языковой ИИ