Подсказки «Планируй и решай»
Подсказки «Планируй и решай» (PS) предписывают языковой модели сначала разработать подробный план, а затем выполнять его шаг за шагом, исправляя ошибки, которые оставляет после себя простая подсказка «давайте подумаем шаг за шагом».
Обзор
It is a simple prompt tweak that meaningfully boosts multi-step reasoning without any extra training.
Глубокое погружение
Подсказка «Планируй и решай», представленная в статье ACL в 2023 году Лей Вангом и его коллегами, была ответом на конкретный недостаток нулевой цепочки мыслей: модели часто пропускают шаги, неправильно вычисляют или неправильно понимают вопрос. PS заменяет единственную инструкцию «Давайте подумаем шаг за шагом» директивой, состоящей из двух частей: «Давайте сначала поймем проблему и разработаем план ее решения». Тогда давайте осуществим план и решим проблему шаг за шагом». Расширенный вариант PS+ добавляет напоминания о необходимости извлечь соответствующие переменные, вычислить промежуточные результаты и обратить внимание на цифры. В таких тестах, как GSM8K и SVAMP, PS+ сократил большую часть разрыва с помощью цепочки мыслей, состоящей из нескольких шагов, при этом не нуждаясь в рабочих примерах в подсказке.
Техническая информация
Механизм заключается исключительно в подсказке: запрашивая план перед выполнением, PS меняет авторегрессионное поколение модели так, что сначала создаются подцели высокого уровня, которые затем обусловливают последующие подробные рассуждения. Такое разделение уменьшает количество «пропущенных шагов» и ошибок вычислений. PS+ дополнительно привлекает внимание, явно называя переменные и промежуточные величины, действуя как самогенерируемый каркас, а не полагаясь на рукописные примеры.
Стратегическое воздействие
Стоимость и бюджет
Архитектурные решения влияют на производительность и эксплуатационные расходы на протяжении многих лет.
Более четкие решения
Техническое образование помогает командам выбрать правильный стек, а не только самый новый.
Контроль качества
Лучший инженерный выбор снижает вероятность возникновения проблем с надежностью на производстве.
Будущее подсказок «планируй и решай»
Мышление «планируй и решай» теперь встроено в структуры агентов и модели «рассуждения», которые изначально отделяют планирование от исполнения. Ожидайте, что подсказки по планированию сольются с использованием инструментов, самопроверкой и методами поиска по дереву и станут внутренним поведением по умолчанию в моделях, обученных рассуждать, а не подсказками, выполняемыми вручную. Непреложный урок заключается в том, что декомпозиция задачи перед ее действием — это дешевый и широко передаваемый выигрыш в надежности.
Реальная реализация
Решение многоэтапных математических задач для начальной школы (GSM8K), в которых модель сначала перечисляет величины, а затем вычисляет их по порядку.
Помощь помощнику по кодированию для описания функций и крайних случаев перед написанием любого кода реализации.
Структурируйте агента службы поддержки так, чтобы он сначала определил основную цель пользователя, а затем последовательность шагов по ее разрешению.
Разбиение сложного запроса на анализ данных на этапы «планирования запросов», за которыми следуют этапы «выполнения и объединения результатов».
Риски и ограничения
Оптимизация одного теста может скрыть более широкие недостатки системы.
Затраты на инфраструктуру и техническое обслуживание часто недооцениваются.
Пробелы в безопасности и наблюдаемости могут увеличиваться по мере усложнения систем.
Дорожная карта реализации
Определите целевые показатели задержки, качества и стоимости перед внедрением.
Тестирование при реалистичной нагрузке и условиях данных.
Мониторинг прибора на наличие ошибок, дрейфа и влияния пользователя.
Перед масштабированием подготовьте пути отката и реагирования на инциденты.
Продолжайте исследовать
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Plan-and-Solve Prompting quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Следующее руководство
От наименее к наиболее подсказкам
Часто задаваемые вопросы
What is Plan-and-Solve Prompting?
Подсказки «Планируй и решай» (PS) предписывают языковой модели сначала разработать подробный план, а затем выполнять его шаг за шагом, исправляя ошибки, которые оставляет после себя простая подсказка «давайте подумаем шаг за шагом». Это простая настройка, которая значительно ускоряет многоэтапное мышление без какого-либо дополнительного обучения.
Какие основные изменения вносит подсказка «Планируй и решай» в стандартную цепочку мыслей с нулевым шагом?
PS-подсказка разбивает инструкцию на разработку плана и последующее его пошаговое выполнение вместо одной строчки «Давайте подумаем шаг за шагом».
Для устранения каких конкретных недостатков простой цепочки мыслей была разработана программа «Планируй и решай»?
Авторы сосредоточили внимание на ошибках, связанных с пропущенными шагами, а также арифметических/расчетных ошибках, которые часто возникают при нулевой цепочке мыслей.
Что расширенный вариант PS+ добавляет к основной подсказке «Планируй и решай»?
PS+ добавляет подробные напоминания для извлечения соответствующих переменных, расчета промежуточных результатов и внимания к цифрам, улучшая самогенерируемую основу.
По какому типу контрольных показателей в первую очередь оценивалась программа «Планируй и решай»?
PS и PS+ были протестированы на тестах математических рассуждений, таких как GSM8K и SVAMP, а также на других наборах данных для рассуждений.
Почему составление плана до детальных шагов помогает авторегрессионной модели?
Поскольку генерация является авторегрессионной, маркеры плана высокого уровня становятся контекстом, который направляет последующие пошаговые рассуждения, сокращая количество пропущенных шагов.