ДалееСледующее руководство
Python Управление зависимостями для машинного обучения
Технический
Техническое РУКОВОДСТВО
Управление историей разговоров — это набор методов, которые удерживают длительный чат или сеанс агента в пределах контекстного ограничения модели.
Прослушайте это руководствоОзвучено ИИ · ~3 min
Основными из них являются удаление старых ходов, обобщение предыдущих частей, сжатие всей истории в сжатое изложение и очистка результатов старых инструментов. Это важно, потому что языковая модель не имеет памяти между вызовами, кроме того, что приложение повторно отправляет. Как только история перерастает окно, нужно что-то вырезать, и от того, что будет вырезано, зависит, останется ли ассистент связным.
Большинство API чата не имеют состояния. Каждый запрос повторно отправляет диалог, и модель читает его с нуля. Таким образом, токены, стоимость и задержка растут по мере увеличения продолжительности сеанса, пока история не достигнет ограничения контекста и запрос не завершится неудачей или не будет усечен. Качество может упасть даже до этого момента, потому что важные детали похоронены среди старого материала. Самая простая стратегия — это усечение, обычно в виде скользящего окна: сохранять системные подсказки и самые последние ходы и отбрасывать все остальное. Это дешево и предсказуемо, но забывает первоначальные факты, такие как ограничения, указанные пользователем в начале. Распространенным усовершенствованием является закрепление важных сообщений, чтобы они никогда не были удалены. Последовательное обобщение заменяет старые ходы составленным по модели резюме, которое обновляется по мере развития разговора. Суть сохраняется в гораздо меньшем количестве токенов. Цена заключается в том, что в сводках теряются детали и могут возникнуть ошибки, а эти ошибки усугубляются, когда сводка суммируется снова. Сжатие — это более продуманная версия, используемая в инструментах агента. Когда использование токена превышает пороговое значение, система просит модель написать структурированную передачу, охватывающую цель, прогресс, решения, открытые проблемы и ключевые имена файлов. Затем он запускает новый контекст с этой передачей плюс самые последние ходы. Claude Code, например, имеет команду компактирования, а также может автоматически сжиматься вблизи предела. Очистка результатов инструментов нацелена на самый большой источник раздувания в сеансах агентов: большие результаты поиска, чтения файлов и команд, которые когда-то были полезны. Замена их на короткие заполнители освобождает место и по-прежнему записывает факт совершения вызова. Внешняя память хранит факты в файле или базе данных и извлекает их, когда это необходимо, поэтому они выдерживают любую обрезку. Распространенным заблуждением является то, что модель сама запоминает предыдущие части чата. Любая непрерывность зависит от того, что приложение решает повторно отправить или получить.
Чат-бот сохраняет системное приглашение, а также последние 20 сообщений и удаляет все более старые. Это дешево, но забывает имя и бюджет, которые пользователь указал в первом сообщении.
Каждые 10 ходов меньшая модель суммирует старую часть разговора в один абзац, который остается вверху контекста. Это краткое изложение.
Агент кодирования, близкий к своему пределу, пишет передачу: цель, измененные файлы, открытые ошибки и принятые решения. Затем он запускает новый контекст, содержащий эту передачу и самые последние файлы.
Агент заменяет результаты поиска старше нескольких ходов коротким заполнителем, например «[вывод веб-поиска очищен: 12 результатов]». Необработанные результаты редко требуются снова после того, как агент поработал над ними.
Провайдеры начали встраивать управление историей в свои платформы. Функции включают состояние диалога на стороне сервера, автоматическое сжатие и редактирование контекста, которое удаляет старые результаты инструмента. Это сокращает шаблонность, но разработчикам все равно придется решить, о чем никогда нельзя забывать. Продолжаются исследования моделей, которые более надежно используют длинные контексты, а также систем памяти, которые сохраняют и извлекают факты между сеансами. Сжатие, вероятно, станет поведением по умолчанию в средах агентов, но компромисс между деталями и пространством не исчезнет. Ни один метод не хранит все бесплатно, поэтому тестирование того, что потеряется, останется частью работы.
Бесплатная рассылка
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
Управление историей разговоров — это набор методов, которые удерживают длительный чат или сеанс агента в пределах контекстного ограничения модели. Основными из них являются удаление старых ходов, обобщение предыдущих частей, сжатие всей истории в сжатое изложение и очистка результатов старых инструментов. Это важно, потому что языковая модель не имеет памяти между вызовами, кроме того, что приложение повторно отправляет. Как только история перерастает окно, нужно что-то вырезать, и от того, что будет вырезано, зависит, останется ли ассистент связным.
API без сохранения состояния обрабатывают всю историю каждого вызова. По мере роста истории растут и токены, стоимость и задержка каждого запроса.
Сохранение только последних поворотов — дешево и предсказуемо, но все, что выпадает из окна, исчезает, если оно не закреплено.
Каждый раунд суммирования ведется с потерями. Ошибка в одном резюме влияет на следующее, поэтому ошибки могут накапливаться в течение длительного сеанса.
Сжатие сжимает сеанс в преднамеренный бриф и запускает новый контекст с ним и с самыми последними поворотами. Агент может продолжить работу без полной истории.
Выходные данные инструмента могут быть очень большими и часто полезны только один раз. Замена их на заполнители освобождает много места и сохраняет запись о том, что звонок произошел.
Продолжайте учиться
Другие руководства, выбранные по этой теме
ДалееСледующее руководство
Python Управление зависимостями для машинного обучения
Технический