Техническое РУКОВОДСТВО

Автоматическая оптимизация подсказок и DSPy

Автоматическая оптимизация подсказок использует алгоритм для поиска лучших инструкций или примеров с несколькими кадрами.

Прослушайте это руководствоОзвучено ИИ · ~3 min

На этой странице4 минуты чтения
  1. Обзор
  2. Глубокое погружение
  3. Реальная реализация
  4. Будущее автоматической оптимизации запросов и DSPy
  5. Применение на практике
  6. Продолжайте исследовать
  7. Часто задаваемые вопросы

Обзор

Он оценивает подсказки кандидатов по метрике на наборе примеров, вместо того, чтобы полагаться на вручную измененные формулировки. К хорошо известным подходам относятся APE, Google OPRO от DeepMind и DSPy, платформа с открытым исходным кодом из Стэнфорда. Вместе они превращают оперативное проектирование из догадок в измеримый и повторяемый процесс.

Глубокое погружение

У настраиваемых вручную подсказок есть известный недостаток. Формулировки, которые подходят для одной модели, набора данных или версии, могут незаметно перестать работать для другой, а изменения обычно оцениваются лишь на нескольких примерах. Автоматическая оптимизация подсказок заменяет этот цикл поиском. Вы предоставляете три вещи: - Задание. - Набор входных данных, в идеале с ожидаемыми результатами. – Метрика, например точное совпадение или рубрика, оцененная другой моделью. Оптимизатор генерирует подсказки кандидатов, запускает их, оценивает и сохраняет победителей. Первые примеры конкретизировали идею. APE (Инженер автоматических подсказок, Чжоу и др., 2022) предложил модель, предлагающую множество инструкций из примеров ввода-вывода, а затем сохранила те, которые получили наивысшие оценки. OPRO (Optimization by PROmpting, Yang et al., Google DeepMind, 2023) использовала LLM в качестве оптимизатора. В его мета-подсказке были перечислены предыдущие инструкции с их оценками, а модель предлагала новые. OPRO нашел такие инструкции, как «Сделай глубокий вдох и работай над этой задачей шаг за шагом», которые получили хорошие оценки для одной конкретной модели по математике в начальной школе. Оптимизированная формулировка может быть неинтуитивной и специфичной для модели. DSPy идет дальше, меняя способ написания программ. Он был разработан в Стэнфордском НЛП Омаром Хаттабом и его коллегами и представлен в 2023 году. Вы объявляете, что делает каждый шаг, с помощью подписи, например «вопрос, контекст -> ответ», и комбинируете модули, такие как Predict или ChainOfThought. Оптимизатор (ранее называемый телесуфлером), такой как BootstrapFewShot или MIPROv2, затем «компилирует» программу, выбирая демонстрации и инструкции для каждого модуля, чтобы максимизировать ваши показатели. Стоит исправить три заблуждения: - Эти инструменты устраняют человеческое суждение. Это не так, потому что показатели и примеры определяют «лучше». - Оптимизированным подсказкам можно доверять. Они могут переохватить небольшой набор данных. - Оптимизация бесплатна. Это требует реальных вызовов API, иногда многих.

Реальная реализация

Команда, создающая классификатор заявок в службу поддержки, записывает подпись DSPy «заявка -> категория» и предоставляет 200 помеченных заявок и показатель точности. Затем оптимизатор выбирает несколько демонстраций, которые получают наилучшие результаты.

Когда компания переходит от одного поставщика LLM к другому, она повторно запускает оптимизатор DSPy для новой модели. Он не переписывает вручную подсказки, настроенные для старой модели.

Исследователь запускает цикл в стиле OPRO. Одна модель предлагает новые формулировки инструкции, каждая формулировка оценивается по математическому тесту, и история лучших результатов возвращается в следующий раунд предложений.

Конвейер вопросов и ответов с расширенным поиском оптимизирован от начала до конца с помощью метрики, которая сравнивает окончательные ответы с эталонными ответами. И этап написания запроса, и этап ответа улучшаются вместе.

Будущее автоматической оптимизации запросов и DSPy

Быстрая оптимизация становится обычной частью проектирования LLM наряду с оценочными пакетами, а не предметом исследования. Открытые вопросы остаются. Насколько хорошо оптимизированные подсказки передаются между моделями? Как вы пишете показатели субъективных качеств, таких как тон или готовность помочь? Как избежать переобучения небольших наборов данных? Некоторые исследования сочетают быструю оптимизацию с облегченной точной настройкой, и DSPy поддерживает и то, и другое. Модели часто меняются, поэтому возможность автоматической повторной оптимизации на основе стабильного набора тестов, вероятно, будет иметь большее значение, чем какой-либо один умный запрос. Определение хороших показателей и примеров остается человеческой работой.

Применение на практике

Почему это важно

  • Стоимость и бюджет. Архитектурные решения влияют на производительность и эксплуатационные расходы на протяжении многих лет.
  • Более четкие решения. Техническое образование помогает командам выбрать правильный стек, а не только самый новый.
  • Контроль качества. Лучший инженерный выбор снижает вероятность возникновения проблем с надежностью на производстве.

Следите за

  • Оптимизация одного теста может скрыть более широкие недостатки системы.
  • Затраты на инфраструктуру и техническое обслуживание часто недооцениваются.
  • Пробелы в безопасности и наблюдаемости могут увеличиваться по мере усложнения систем.

Следующие шаги

  1. Определите целевые показатели задержки, качества и стоимости перед внедрением.
  2. Тестирование при реалистичной нагрузке и условиях данных.
  3. Мониторинг прибора на наличие ошибок, дрейфа и влияния пользователя.
  4. Перед масштабированием подготовьте пути отката и реагирования на инциденты.

Продолжайте исследовать

Бесплатная рассылка

Получайте ежедневный AI-обзор

Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.

Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.

Проверьте себя

Take the Automatic Prompt Optimization and DSPy quiz

Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.

Начать тест

Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование

Часто задаваемые вопросы

Что такое автоматическая оптимизация подсказок и DSPy?

Автоматическая оптимизация подсказок использует алгоритм для поиска лучших инструкций или примеров с несколькими кадрами. Он оценивает подсказки кандидатов по метрике на наборе примеров, вместо того, чтобы полагаться на вручную измененные формулировки. К хорошо известным подходам относятся APE, Google OPRO от DeepMind и DSPy, платформа с открытым исходным кодом из Стэнфорда. Вместе они превращают оперативное проектирование из догадок в измеримый и повторяемый процесс.

Что необходимо предоставить для работы автоматической быстрой оптимизации?

Оптимизатору нужна задача, примеры и метрика, чтобы он мог оценить подсказки-кандидаты и сохранить лучшие.

В ОПРО что играет роль оптимизатора?

OPRO использует языковую модель в качестве оптимизатора. Он видит прошлые инструкции с их оценками и предлагает новые.

Что иллюстрирует результат OPRO «Сделайте глубокий вдох и работайте над этой проблемой шаг за шагом»?

Инструкция получила хорошие оценки для одной конкретной модели по математике в начальной школе. Формулировка, найденная при поиске, может оказаться неожиданной и не перенестись на другие модели.

Что такое подпись DSPy?

Сигнатуры определяют, что должен делать модуль с точки зрения полей ввода и вывода. Затем DSPy обрабатывает приглашение.

Как BootstrapFewShot от DSPy получает свои демонстрации?

Успешные следы становятся редкими примерами, в том числе для внутренних шагов, которые вы никогда не обозначили для себя.

Продолжайте учиться

Связанные руководства

Другие руководства, выбранные по этой теме

Получите бесплатный AI-сертификатКороткий бесплатный курс и экзамен. Без стоимости, без карты. Около 2,5 часов.Начать бесплатно →