Tiếp theoHướng dẫn tiếp theo
Quản lý phụ thuộc Python cho ML
kỹ thuật
HƯỚNG DẪN KỸ THUẬT
Quản lý lịch sử hội thoại là tập hợp các kỹ thuật giúp duy trì phiên trò chuyện dài hoặc phiên tổng đài viên trong giới hạn ngữ cảnh của mô hình.
Nghe hướng dẫn nàyAI thuật lại · ~3 min
Những cái chính là bỏ các lượt cũ, tóm tắt các phần trước đó, nén toàn bộ lịch sử thành một bản tóm tắt cô đọng và xóa các đầu ra của công cụ cũ. Điều này quan trọng vì mô hình ngôn ngữ không có bộ nhớ giữa các lệnh gọi ngoài những gì ứng dụng gửi lại. Một khi lịch sử phát triển vượt ra ngoài cửa sổ, một cái gì đó phải bị cắt và những gì bị cắt sẽ quyết định liệu trợ lý có mạch lạc hay không.
Hầu hết các API trò chuyện đều không có trạng thái. Mọi yêu cầu đều gửi lại cuộc trò chuyện cho đến thời điểm hiện tại và mô hình sẽ đọc nó từ đầu. Do đó, mã thông báo, chi phí và độ trễ tăng lên khi phiên dài hơn, cho đến khi lịch sử đạt đến giới hạn ngữ cảnh và yêu cầu không thành công hoặc bị cắt ngắn. Chất lượng có thể giảm thậm chí trước thời điểm đó vì các chi tiết liên quan bị chôn vùi trong tài liệu cũ. Chiến lược đơn giản nhất là cắt ngắn, thường là dưới dạng cửa sổ trượt: giữ lời nhắc của hệ thống và các lượt gần đây nhất, đồng thời bỏ phần còn lại. Nó rẻ và có thể dự đoán được, nhưng nó quên đi những thông tin ban đầu, chẳng hạn như những hạn chế mà người dùng đã nêu ngay từ đầu. Một cải tiến phổ biến là ghim các tin nhắn quan trọng để chúng không bao giờ bị bỏ sót. Tóm tắt luân phiên thay thế các lượt cũ hơn bằng một bản tóm tắt viết theo mẫu được cập nhật khi cuộc trò chuyện phát triển. Nó giữ ý chính với ít mã thông báo hơn nhiều. Cái giá phải trả là các bản tóm tắt sẽ mất chi tiết và có thể gây ra sai sót, và những lỗi đó sẽ càng phức tạp hơn khi bản tóm tắt lại được tóm tắt lại. Nén là một phiên bản có chủ ý hơn được sử dụng trong các công cụ tác nhân. Khi mức sử dụng mã thông báo vượt quá ngưỡng, hệ thống sẽ yêu cầu mô hình viết bản chuyển giao có cấu trúc bao gồm mục tiêu, tiến độ, quyết định, vấn đề mở và tên tệp chính. Sau đó, nó bắt đầu một bối cảnh mới với lượt chuyển giao đó cộng với các lượt gần đây nhất. Ví dụ: Claude Code có lệnh thu gọn và cũng có thể tự động nén gần đến giới hạn. Việc xóa kết quả của công cụ nhắm đến nguồn gây phình to lớn nhất trong các phiên tác nhân: kết quả đầu ra lớn từ các tìm kiếm, đọc tệp và các lệnh từng hữu ích. Việc hoán đổi chúng bằng các phần giữ chỗ ngắn sẽ giải phóng không gian và vẫn ghi lại cuộc gọi đã diễn ra. Bộ nhớ ngoài lưu trữ các dữ kiện trong một tệp hoặc cơ sở dữ liệu và truy xuất chúng khi có liên quan, để chúng tồn tại sau bất kỳ sự cắt xén nào. Một quan niệm sai lầm phổ biến là mô hình tự ghi nhớ các phần trước đó của cuộc trò chuyện. Mọi tính liên tục đều xuất phát từ những gì ứng dụng chọn gửi lại hoặc truy xuất.
Chatbot giữ lời nhắc của hệ thống cùng với 20 tin nhắn gần đây nhất và loại bỏ mọi tin nhắn cũ hơn. Cái này rẻ nhưng lại quên tên và ngân sách mà người dùng đưa ra trong tin nhắn đầu tiên.
Cứ sau 10 lượt, một mô hình nhỏ hơn tóm tắt phần cũ của cuộc trò chuyện thành một đoạn nằm ở đầu ngữ cảnh. Đây là một bản tóm tắt cuốn chiếu.
Một tác nhân mã hóa gần đạt đến giới hạn của nó viết một bản chuyển giao: mục tiêu, các tập tin đã thay đổi, các lỗi mở và các quyết định được đưa ra. Sau đó, nó bắt đầu một bối cảnh mới chứa bản chuyển giao đó và các tệp gần đây nhất.
Tác nhân thay thế các kết quả tìm kiếm cũ hơn một vài lượt bằng một trình giữ chỗ ngắn, chẳng hạn như '[kết quả tìm kiếm trên web đã được xóa: 12 kết quả]'. Kết quả thô hiếm khi cần thiết nữa một khi tác nhân đã hành động theo chúng.
Các nhà cung cấp đã bắt đầu xây dựng tính năng quản lý lịch sử vào nền tảng của họ. Các tính năng bao gồm trạng thái hội thoại phía máy chủ, tự động nén và chỉnh sửa ngữ cảnh để xóa kết quả công cụ cũ. Điều này cắt bỏ bản soạn sẵn, nhưng các nhà phát triển vẫn phải quyết định những gì không bao giờ được quên. Nghiên cứu tiếp tục trên các mô hình sử dụng ngữ cảnh dài đáng tin cậy hơn và trên các hệ thống bộ nhớ lưu trữ và truy xuất dữ kiện qua các phiên. Việc nén có thể sẽ trở thành hành vi mặc định trong khung tác nhân, nhưng sự cân bằng giữa chi tiết và không gian sẽ không biến mất. Không có phương pháp nào giữ mọi thứ miễn phí, vì vậy việc kiểm tra những gì bị mất sẽ vẫn là một phần công việc.
Bản tin miễn phí
Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.
Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.
Tự kiểm tra
Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.
Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp
Quản lý lịch sử hội thoại là tập hợp các kỹ thuật giúp duy trì phiên trò chuyện hoặc phiên tổng đài viên dài trong giới hạn ngữ cảnh của mô hình. Những cái chính là bỏ các lượt cũ, tóm tắt các phần trước đó, nén toàn bộ lịch sử thành một bản tóm tắt cô đọng và xóa các đầu ra của công cụ cũ. Điều này quan trọng vì mô hình ngôn ngữ không có bộ nhớ giữa các lệnh gọi ngoài những gì ứng dụng gửi lại. Một khi lịch sử phát triển vượt ra ngoài cửa sổ, một cái gì đó phải bị cắt và những gì bị cắt sẽ quyết định liệu trợ lý có mạch lạc hay không.
API không trạng thái xử lý toàn bộ lịch sử trên mỗi lệnh gọi. Khi lịch sử phát triển, mã thông báo, chi phí và độ trễ của mọi yêu cầu cũng tăng theo.
Chỉ giữ lại các lượt gần đây là rẻ và có thể dự đoán được, nhưng bất cứ thứ gì rơi ra ngoài cửa sổ sẽ biến mất trừ khi nó được ghim.
Mỗi vòng tóm tắt là mất mát. Sai sót trong một bản tóm tắt sẽ kéo theo lỗi tiếp theo, vì vậy lỗi có thể tích tụ trong một thời gian dài.
Việc thu gọn sẽ cô đọng phiên thành một bản tóm tắt có chủ ý và bắt đầu một bối cảnh mới với phiên đó cũng như các lượt gần đây nhất. Đại lý có thể tiếp tục mà không có lịch sử đầy đủ.
Đầu ra của công cụ có thể rất lớn và thường chỉ hữu ích một lần. Việc hoán đổi chúng bằng phần giữ chỗ sẽ giải phóng nhiều dung lượng và lưu giữ bản ghi rằng cuộc gọi đã diễn ra.
Tiếp tục học hỏi
Đã chọn thêm hướng dẫn cho chủ đề này
Tiếp theoHướng dẫn tiếp theo
Quản lý phụ thuộc Python cho ML
kỹ thuật