ДалееСледующее руководство
Длинный контекст против RAG
Языковой ИИ
РУКОВОДСТВО ПО ЯЗЫКУ ИИ
Контекстная инженерия — это практика решения того, что языковая модель видит на каждом этапе (инструкции, извлеченные документы, определения и результаты инструментов, история разговоров и память) и встраивание этого в ограниченное контекстное окно.
Прослушайте это руководствоОзвучено ИИ · ~3 min
Это идет дальше, чем просто формулировка. Это важно, поскольку качество вывода сильно зависит от того, что находится в окне, а в агентах и длинных задачах контекст собирается кодом при каждом вызове, а не набирается человеком один раз.
Оперативное проектирование направлено на формулировку одного запроса. Контекстная инженерия предполагает более широкий взгляд. Модель получает одну последовательность токенов, и все в ней конкурирует за пространство и внимание модели. Эта последовательность обычно включает в себя системную подсказку, определения инструментов, извлеченные отрывки, предыдущие ходы, выходные данные инструментов и иногда долговременную память. Этот термин стал общепринятым в 2025 году, когда агенты, создающие команды, обнаружили, что многие неудачи происходят из-за того, что в модели содержится неверная, слишком большая или противоречивая информация, а не из-за плохой формулировки. Отсюда следует несколько принципов. Во-первых, релевантность важнее объема. Некоторые модели принимают сотни тысяч токенов, но не все токены используются одинаково хорошо. Исследование «Потерянные в середине» (Liu et al., 2023) показало, что модели часто используют информацию в начале и конце длинного ввода лучше, чем информацию, спрятанную в середине. Во-вторых, контекст — это бюджет. Каждый токен стоит денег и увеличивает задержку, а ненужный материал может отвлекать модель. В-третьих, помогает структура. Четкие разделы, размеченные документы и согласованные форматы облегчают модели поиск того, что важно. Распространенные методы включают в себя: - генерацию с расширенным поиском, которая извлекает только соответствующие отрывки - своевременную загрузку, когда агент хранит легкие ссылки, такие как имена файлов или идентификаторы, и использует инструменты для извлечения полного содержимого, когда это необходимо - структурированное ведение заметок, которое сохраняет состояние за пределами окна - сжатие длинных историй - субагенты, которые исследуют в своем собственном контексте и возвращают сжатые результаты Одно заблуждение состоит в том, что контекстная инженерия - это просто новое название для подсказок. Формулировка — это одна часть процесса, но большая часть работы — это проектирование систем: принятие решения о том, что извлекается, суммируется или удаляется и в каком порядке это появляется. Еще одно заблуждение состоит в том, что большее окно устраняет необходимость в этом. Увеличение окна снижает давление, но ограничения по затратам и вниманию остаются.
Бот службы поддержки клиентов извлекает только три наиболее актуальные статьи справочного центра, а также уровень плана клиента. Он не вставляет всю базу знаний в каждый запрос.
Агент кодирования начинает со списка путей к файлам и сигнатур функций, затем использует инструмент чтения файлов для загрузки полных файлов только тогда, когда они ему нужны.
Помощник по проведению совещаний сохраняет решения и действия в файле структурированных заметок и перезагружает этот файл на следующем сеансе вместо повторного воспроизведения каждой предыдущей стенограммы.
Команда меняет инструмент базы данных, чтобы он возвращал отфильтрованную сводку с количеством строк вместо 5000 строк необработанного JSON. Это не позволит окну агента заполниться данными, которые он никогда не будет использовать.
Контекстные окна быстро выросли, а модели стали лучше использовать длинные входные данные. Стоимость, задержка и ограничения внимания по-прежнему делают важным выбор того, что входит. Большая часть этой работы перемещается в фреймворки и платформы, и некоторые поставщики уже предлагают встроенные инструменты памяти, автоматическое сжатие и управляемое извлечение. Навыки, скорее всего, перейдут от ручного сбора контекста к разработке политик для того, что агент должен запомнить, извлечь или забыть, а затем протестировать эти политики. Остается открытым вопрос, потребуют ли будущие модели дизайна менее тщательного подхода. На данный момент специально разработанный контекст является одним из наиболее надежных способов улучшить выходные данные модели.
Бесплатная рассылка
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
Контекстная инженерия — это практика решения того, что языковая модель видит на каждом этапе (инструкции, извлеченные документы, определения и результаты инструментов, история разговоров и память) и встраивание этого в ограниченное контекстное окно. Это идет дальше, чем просто формулировка. Это важно, поскольку качество вывода сильно зависит от того, что находится в окне, а в агентах и длинных задачах контекст собирается кодом при каждом вызове, а не набирается человеком один раз.
Контекстная инженерия рассматривает всю последовательность токенов, которую получает модель, как нечто для проектирования: инструкции, извлеченные отрывки, определения и выходные данные инструментов, историю и память. Быстрая формулировка — это только одна часть.
Лю и др. (2023) обнаружили, что производительность часто падает, когда релевантная информация находится в середине длинного контекста. Это одна из причин, по которой релевантность и размещение имеют большее значение, чем сам объем.
Токены в окне имеют реальные затраты по цене и времени отклика. Неактуальные токены также конкурируют с релевантными за внимание модели, поэтому тратить их следует обдуманно.
Вместо того, чтобы загружать все заранее, агент хранит указатели и извлекает полный контент только тогда, когда этого требует шаг. Благодаря этому окно остается наклонным.
Поставщики, поддерживающие кэширование подсказок, могут повторно использовать префикс, который остается байтовым при каждом вызове. Это становится возможным, если поставить стабильный контент на первое место, а меняющийся разговор на последнюю очередь.
Продолжайте учиться
Другие руководства, выбранные по этой теме
ДалееСледующее руководство
Длинный контекст против RAG
Языковой ИИ