Quản lý lịch sử hội thoại và nén bối cảnh

Hầu hết các API trò chuyện đều không có trạng thái. Mọi yêu cầu đều gửi lại cuộc trò chuyện cho đến thời điểm hiện tại và mô hình sẽ đọc nó từ đầu. Do đó, mã thông báo, chi phí và độ trễ tăng lên khi phiên dài hơn, cho đến khi lịch sử đạt đến giới hạn ngữ cảnh và yêu cầu không thành công hoặc bị cắt ngắn. Chất lượng có thể giảm thậm chí trước thời điểm đó vì các chi tiết liên quan bị chôn vùi trong tài liệu cũ. Chiến lược đơn giản nhất là cắt ngắn, thường là dưới dạng cửa sổ trượt: giữ lời nhắc của hệ thống và các lượt gần đây nhất, đồng thời bỏ phần còn lại. Nó rẻ và có thể dự đoán được, nhưng nó quên đi những thông tin ban đầu, chẳng hạn như những hạn chế mà người dùng đã nêu ngay từ đầu. Một cải tiến phổ biến là ghim các tin nhắn quan trọng để chúng không bao giờ bị bỏ sót. Tóm tắt luân phiên thay thế các lượt cũ hơn bằng một bản tóm tắt viết theo mẫu được cập nhật khi cuộc trò chuyện phát triển. Nó giữ ý chính với ít mã thông báo hơn nhiều. Cái giá phải trả là các bản tóm tắt sẽ mất chi tiết và có thể gây ra sai sót, và những lỗi đó sẽ càng phức tạp hơn khi bản tóm tắt lại được tóm tắt lại. Nén là một phiên bản có chủ ý hơn được sử dụng trong các công cụ tác nhân. Khi mức sử dụng mã thông báo vượt quá ngưỡng, hệ thống sẽ yêu cầu mô hình viết bản chuyển giao có cấu trúc bao gồm mục tiêu, tiến độ, quyết định, vấn đề mở và tên tệp chính. Sau đó, nó bắt đầu một bối cảnh mới với lượt chuyển giao đó cộng với các lượt gần đây nhất. Ví dụ: Claude Code có lệnh thu gọn và cũng có thể tự động nén gần đến giới hạn. Việc xóa kết quả của công cụ nhắm đến nguồn gây phình to lớn nhất trong các phiên tác nhân: kết quả đầu ra lớn từ các tìm kiếm, đọc tệp và các lệnh từng hữu ích. Việc hoán đổi chúng bằng các phần giữ chỗ ngắn sẽ giải phóng không gian và vẫn ghi lại cuộc gọi đã diễn ra. Bộ nhớ ngoài lưu trữ các dữ kiện trong một tệp hoặc cơ sở dữ liệu và truy xuất chúng khi có liên quan, để chúng tồn tại sau bất kỳ sự cắt xén nào. Một quan niệm sai lầm phổ biến là mô hình tự ghi nhớ các phần trước đó của cuộc trò chuyện. Mọi tính liên tục đều xuất phát từ những gì ứng dụng chọn gửi lại hoặc truy xuất.