ДалееСледующее руководство
Объяснение системных подсказок
Языковой ИИ
РУКОВОДСТВО ПО ЯЗЫКУ ИИ
Цепочка подсказок разбивает задачу на фиксированную последовательность подсказок меньшего размера, где выходные данные каждого шага становятся входными данными для следующего шага: например, извлечение, затем анализ, затем черновик.
Это делает работу LLM более надежной и упрощает отладку, чем одно гигантское приглашение. Он также остается более предсказуемым, чем автономный агент, поскольку разработчик определяет шаги, а не модель.
Одна мега-подсказка просит модель сделать все сразу: прочитать источник, извлечь факты, рассуждать о них, следовать правилам стиля и отформатировать ответ. Каждое дополнительное требование конкурирует за внимание. Если выходные данные неверны, вы не можете определить, какая часть вышла из строя. Оперативная цепочка разбивает работу на этапы, и каждому этапу соответствует одно четкое задание. Типичная цепочка состоит из трех этапов: 1. Извлечение соответствующих цитат из документа. 2. Ответьте на вопрос, используя только эти цитаты. 3. Сверьте ответ с цитатами и перепишите его для аудитории. Обычный код может проверять выходные данные между шагами. Он может проанализировать JSON, подтвердить наличие обязательного поля или остановить цепочку, если классификатор возвращает низкую достоверность. В эссе Anthropic за декабрь 2024 года «Создание эффективных агентов» эти проверки названы «воротами». Он описывает цепочку подсказок как рабочий процесс, в котором дополнительная задержка компенсируется более высокой точностью, поскольку каждый вызов становится более простой задачей. Цепочки и агенты различаются тем, кто контролирует путь. В цепочке разработчик жестко запрограммирует последовательность. В агенте модель во время выполнения решает, какой инструмент вызвать следующим и когда это будет сделано. Цепи дешевле тестировать, их легче объяснить, и они выходят из строя в предсказуемых местах. Агенты подходят для открытых задач, шаги которых не могут быть известны заранее. Многие производственные системы представляют собой скорее цепочки, чем агенты, иногда с ответвлениями (маршрутизацией) или этапами, которые выполняются параллельно. Распространены три заблуждения: - Цепочка всегда стоит дороже. Фактически, для небольших сфокусированных подсказок можно использовать более дешевые модели для простых шагов. - Больше шагов всегда лучше. Любая передача может привести к потере информации или возникновению сложных ошибок. - Для цепочки нужна структура. Такие библиотеки, как LangChain, предлагают помощников, но цепочка — это всего лишь несколько вызовов функций, передающих строки или JSON.
Языковые рабочие процессы могут развиваться быстрее, не жертвуя при этом согласованностью.
Это расширяет доступ к различным языкам и стилям общения.
Команды могут тратить больше времени на принятие решений, в то время как автоматизация занимается повторением.
Фреймворки все чаще представляют цепочки в виде явных графов шагов. Это упрощает добавление ветвей, повторных попыток и точек, где человек просматривает выходные данные. Поскольку модели обрабатывают более длинные контексты и лучше следуют сложным инструкциям, некоторые цепочки, существующие только для обхода ограничений модели, могут снова объединиться в отдельные вызовы. Другие останутся, потому что они предлагают точки проверки, проверки соответствия и контроль затрат, чего не может сделать один звонок. В этой области наблюдается практическая золотая середина: используйте фиксированные цепочки, в которых шаги известны, и сохраняйте автономию агентов для задач, которые действительно в ней нуждаются.
Команда юристов обрабатывает контракты за три звонка. Первый извлекает предложения в JSON, второй помечает предложения, которые отличаются от стандартного шаблона, а третий записывает на простом английском языке краткое изложение только помеченных элементов.
Маркетинговый рабочий процесс сначала создает структуру блога. Проверка кода подтверждает, что структура охватывает необходимые ключевые слова, а затем каждый раздел записывается отдельным вызовом, чтобы статьи оставались последовательными.
Инструмент поддержки сначала классифицирует входящее электронное письмо как выставление счета, ошибку или отмену. Затем он отправляет электронное письмо на приглашение для конкретной категории с прикрепленным к нему правильным текстом политики, который представляет собой цепочку с ветвью.
Исследователь обобщает 20 статей по одной, затем передает 20 резюме на финальную подсказку, которая сравнивает их методы. Это предохраняет любой отдельный вызов от перегрузки контекстом.
Галлюцинированные факты могут незаметно войти в отчеты, потоки поддержки или результаты исследований.
Незамедлительная чувствительность может привести к противоречивым результатам по схожим запросам.
Конфиденциальные текстовые данные могут быть раскрыты, если контроль доступа слабый.
Перед развертыванием определите выходной формат, тон и стандарты качества.
Наземные ответы с помощью надежных источников, когда точность имеет значение.
Обеспечьте контрольную точку человеческого контроля для получения важных результатов.
Отслеживайте закономерности сбоев и регулярно обновляйте подсказки или рабочие процессы.
Free newsletter
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Цепочка подсказок разбивает задачу на фиксированную последовательность подсказок меньшего размера, где выходные данные каждого шага становятся входными данными для следующего шага: например, извлечение, затем анализ, затем черновик. Это делает работу LLM более надежной и упрощает отладку, чем одно гигантское приглашение. Он также остается более предсказуемым, чем автономный агент, поскольку разработчик определяет шаги, а не модель.
Цепочка разбивает задачу на упорядоченные этапы, и каждый этап передает свои выходные данные в качестве входных данных следующего этапа.
Ключевое различие заключается в том, кто контролирует путь. Цепочка следует последовательности, которую написал разработчик. Агент выбирает свои действия во время работы.
Ворота — это проверки в обычном коде, такие как проверка JSON или оценка достоверности, которые решают, будет ли цепочка продолжаться.
Каждый вызов становится более простой задачей, что повышает точность, но последовательное выполнение нескольких вызовов занимает больше времени.
0,95, умноженное само на себя четыре раза, составит около 0,81. Вот почему ошибки усугубляются, а ворота имеют значение.
Продолжайте учиться
Другие руководства, выбранные по этой теме
ДалееСледующее руководство
Объяснение системных подсказок
Языковой ИИ