Tự phản ánh trong vòng lặp tác nhân
Tự phản ánh cho phép tác nhân AI phê bình kết quả đầu ra và hành động của chính mình trong khi thực hiện nhiệm vụ, sau đó sửa đổi dựa trên lời phê bình đó.
Tổng quan
It turns a one-shot guesser into a system that catches and fixes its own mistakes.
Lặn sâu
Trong vòng lặp tác nhân, mô hình ngôn ngữ thực hiện các hành động (gọi công cụ, viết mã, trả lời), quan sát kết quả và quyết định việc cần làm tiếp theo. Tự phản ánh thêm một bước có chủ ý trong đó mô hình đánh giá công việc gần đây của nó trước khi tiếp tục. Các khung như Reflexion (2023) làm rõ điều này: sau một lần thử thất bại, nhân viên viết một bài phê bình ngắn bằng lời nói ("Tôi đã quên xử lý trường hợp danh sách trống") và lưu nó vào bộ nhớ, vì vậy lần thử tiếp theo sẽ phụ thuộc vào bài học đó. Self-Refine sử dụng cùng một mô hình để tạo ra phản hồi và viết lại câu trả lời của mình nhiều lần. Sự phản ánh có thể đến từ việc so sánh kết quả đầu ra với mục tiêu, kiểm tra thông báo lỗi hoặc chạy thử nghiệm. Lợi ích mang lại là độ tin cậy cao hơn đối với các tác vụ gồm nhiều bước như mã hóa, điều hướng trang web và toán học, trong đó một lần vượt qua thường không thành công nhưng vòng lặp phê bình và thử lại lại thành công.
Hiểu biết kỹ thuật
Phản ánh thường được triển khai như một lời nhắc bổ sung: mô hình được yêu cầu đóng vai trò là người phê bình bản ghi lại các hành động của chính nó, tạo ra phản hồi bằng ngôn ngữ tự nhiên sau đó được thêm vào ngữ cảnh cho lần thử tiếp theo. Phản hồi lưu trữ những lời phê bình này trong bộ nhớ đệm theo từng giai đoạn qua các thử nghiệm thay vì tinh chỉnh trọng số, do đó việc học tập diễn ra hoàn toàn trong bối cảnh. Phản xạ điều khiển tín hiệu có thể là bên ngoài (kiểm tra đạt/không đạt, lỗi công cụ) hoặc tự tạo và các tín hiệu bên ngoài có xu hướng đáng tin cậy hơn nhiều.
Tác động chiến lược
Chi phí và ngân sách
Các quyết định về kiến trúc sẽ thúc đẩy hiệu suất và chi phí vận hành trong nhiều năm.
Quyết định rõ ràng hơn
Giáo dục kỹ thuật giúp các nhóm chọn nhóm phù hợp chứ không chỉ nhóm mới nhất.
Kiểm soát chất lượng
Lựa chọn kỹ thuật tốt hơn làm giảm sự cố về độ tin cậy trong sản xuất.
Tương lai của sự tự phản ánh trong vòng lặp tác nhân
Mong đợi sự phản chiếu sẽ trở thành một tác nhân nguyên thủy được tích hợp sẵn chứ không phải là một thủ thuật nhắc nhở, với các mô hình được đào tạo để biết khi nào sự phản chiếu có giá trị với các mã thông báo bổ sung và khi nào nó chỉ đốt cháy tính toán. Các mô hình xác minh và phản hồi thực thi sẽ ngày càng tạo cơ sở cho việc tự phê bình để các nhân viên ngừng ảo tưởng rằng các câu trả lời sai là đúng. Nghiên cứu cũng đang nhắm mục tiêu vào chế độ thất bại trong đó các mô hình tự tin khẳng định công việc tồi, hướng tới sự phản ánh đã được hiệu chỉnh, dựa trên bằng chứng và các tiêu chí dừng đã học được cho vòng lặp.
Triển khai trong thế giới thực
Một tác nhân mã hóa chạy một bài kiểm tra đơn vị bị lỗi, đọc truy nguyên, viết phản ánh ghi lại từng lỗi một và viết lại hàm trong lần lặp vòng lặp tiếp theo.
Tác nhân duyệt web đã nhấp vào liên kết sai sẽ phản ánh trên trang mà nó đã truy cập, nhận ra sự không khớp với mục tiêu của nó và quay lại để thử một liên kết khác.
Một trợ lý nghiên cứu soạn thảo một câu trả lời, phê bình nó vì những tuyên bố không được hỗ trợ và sửa đổi để bổ sung các trích dẫn hoặc ngăn chặn những tuyên bố không chắc chắn trước khi trả lại nó.
Tác nhân giải toán sẽ kiểm tra câu trả lời cuối cùng của mình dựa trên các ràng buộc của bài toán, nhận thấy đơn vị không khớp và thực hiện lại phép tính thay vì gửi kết quả sai sót.
Rủi ro & lan can
Tối ưu hóa một điểm chuẩn có thể che giấu những điểm yếu của hệ thống rộng hơn.
Chi phí cơ sở hạ tầng và bảo trì thường được đánh giá thấp.
Khoảng cách về bảo mật và khả năng quan sát có thể tăng lên khi hệ thống trở nên phức tạp hơn.
Lộ trình thực hiện
Xác định các mục tiêu về độ trễ, chất lượng và chi phí trước khi triển khai.
Điểm chuẩn trong điều kiện tải và dữ liệu thực tế.
Giám sát thiết bị về lỗi, độ lệch và tác động của người dùng.
Chuẩn bị đường dẫn khôi phục và ứng phó sự cố trước khi mở rộng quy mô.
Tiếp tục khám phá
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Self-Reflection in Agent Loops quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hướng dẫn tiếp theo
Tác nhân phản xạ và tự điều chỉnh
Câu hỏi thường gặp
What is Self-Reflection in Agent Loops?
Tự phản ánh cho phép tác nhân AI phê bình kết quả đầu ra và hành động của chính mình trong khi thực hiện nhiệm vụ, sau đó sửa đổi dựa trên lời phê bình đó. Nó biến người đoán một lần thành một hệ thống có thể bắt và sửa lỗi của chính nó.
Sự tự phản ánh bổ sung thêm điều gì vào vòng lặp tác nhân tiêu chuẩn?
Tự phản ánh chèn một bước đánh giá trong đó tác nhân phê bình các hành động hoặc kết quả gần đây của mình và sử dụng lời phê bình đó để hướng dẫn bước đi tiếp theo của mình.
Trong khung Phản ánh, những lời tự phê bình của mô hình được lưu trữ ở đâu?
Phản xạ lưu giữ những lời tự phê bình bằng lời nói trong bộ nhớ đệm theo từng giai đoạn và đưa chúng vào bối cảnh trong những lần thử nghiệm sau này, vì vậy việc học tập diễn ra trong bối cảnh thay vì thông qua cập nhật trọng số.
Tín hiệu phản hồi nào cho sự phản xạ có xu hướng đáng tin cậy nhất?
Các tín hiệu bên ngoài có căn cứ như kiểm tra thất bại hoặc lỗi thời gian chạy mang lại phản hồi cụ thể, đáng tin cậy, trong khi những lời phê bình thuần túy do tự tạo ra có thể sai.
Chế độ tự phản ánh thất bại đã biết là gì?
Nếu không có phản hồi có căn cứ, các mô hình đôi khi sẽ xem xét công việc có sai sót và kết luận sai rằng nó ổn, vì vậy việc xác minh bên ngoài là rất quan trọng.
Phương pháp Tự Tinh chỉnh thường tạo ra phản hồi như thế nào?
Self-Refine có một mô hình duy nhất tạo ra phản hồi về bản nháp của nó và sau đó sửa đổi lặp đi lặp lại kết quả bằng cách sử dụng phản hồi đó.