Tiếp theoHướng dẫn tiếp theo
Tác nhân phản xạ và tự điều chỉnh
Ứng dụng
HƯỚNG DẪN KỸ THUẬT
Tự phản ánh trong vòng lặp tác nhân
Tự phản ánh cho phép tác nhân AI phê bình kết quả đầu ra và hành động của chính mình trong khi thực hiện nhiệm vụ, sau đó sửa đổi dựa trên lời phê bình đó.
Nghe hướng dẫn nàyAI thuật lại · ~2 min
Trên trang nàyĐọc trong 2 phút
Tổng quan
Nó biến người đoán một lần thành một hệ thống có thể bắt và sửa lỗi của chính nó.
Lặn sâu
Trong vòng lặp tác nhân, mô hình ngôn ngữ thực hiện các hành động (gọi công cụ, viết mã, trả lời), quan sát kết quả và quyết định việc cần làm tiếp theo. Tự phản ánh thêm một bước có chủ ý trong đó mô hình đánh giá công việc gần đây của nó trước khi tiếp tục. Các khung như Reflexion (2023) làm rõ điều này: sau một lần thử thất bại, nhân viên viết một bài phê bình ngắn bằng lời nói ("Tôi đã quên xử lý trường hợp danh sách trống") và lưu nó vào bộ nhớ, vì vậy lần thử tiếp theo sẽ phụ thuộc vào bài học đó. Self-Refine sử dụng cùng một mô hình để tạo ra phản hồi và viết lại câu trả lời của mình nhiều lần. Sự phản ánh có thể đến từ việc so sánh kết quả đầu ra với mục tiêu, kiểm tra thông báo lỗi hoặc chạy thử nghiệm. Lợi ích mang lại là độ tin cậy cao hơn đối với các tác vụ gồm nhiều bước như mã hóa, điều hướng trang web và toán học, trong đó một lần vượt qua thường không thành công nhưng vòng lặp phê bình và thử lại lại thành công.
Triển khai trong thế giới thực
Một tác nhân mã hóa chạy một bài kiểm tra đơn vị bị lỗi, đọc truy nguyên, viết phản ánh ghi lại từng lỗi một và viết lại hàm trong lần lặp vòng lặp tiếp theo.
Tác nhân duyệt web đã nhấp vào liên kết sai sẽ phản ánh trên trang mà nó đã truy cập, nhận ra sự không khớp với mục tiêu của nó và quay lại để thử một liên kết khác.
Một trợ lý nghiên cứu soạn thảo một câu trả lời, phê bình nó vì những tuyên bố không được hỗ trợ và sửa đổi để bổ sung các trích dẫn hoặc ngăn chặn những tuyên bố không chắc chắn trước khi trả lại nó.
Tác nhân giải toán sẽ kiểm tra câu trả lời cuối cùng của mình dựa trên các ràng buộc của bài toán, nhận thấy đơn vị không khớp và thực hiện lại phép tính thay vì gửi kết quả sai sót.
Tương lai của sự tự phản ánh trong vòng lặp tác nhân
Mong đợi sự phản chiếu sẽ trở thành một tác nhân nguyên thủy được tích hợp sẵn chứ không phải là một thủ thuật nhắc nhở, với các mô hình được đào tạo để biết khi nào sự phản chiếu có giá trị với các mã thông báo bổ sung và khi nào nó chỉ đốt cháy tính toán. Các mô hình xác minh và phản hồi thực thi sẽ ngày càng tạo cơ sở cho việc tự phê bình để các nhân viên ngừng ảo tưởng rằng các câu trả lời sai là đúng. Nghiên cứu cũng đang nhắm mục tiêu vào chế độ thất bại trong đó các mô hình tự tin khẳng định công việc tồi, hướng tới sự phản ánh đã được hiệu chỉnh, dựa trên bằng chứng và các tiêu chí dừng đã học được cho vòng lặp.
Đưa nó vào thực tế
Tại sao nó quan trọng
- Chi phí và ngân sách. Các quyết định về kiến trúc sẽ thúc đẩy hiệu suất và chi phí vận hành trong nhiều năm.
- Quyết định rõ ràng hơn. Giáo dục kỹ thuật giúp các nhóm chọn nhóm phù hợp chứ không chỉ nhóm mới nhất.
- Kiểm soát chất lượng. Lựa chọn kỹ thuật tốt hơn làm giảm sự cố về độ tin cậy trong sản xuất.
coi chừng
- Tối ưu hóa một điểm chuẩn có thể che giấu những điểm yếu của hệ thống rộng hơn.
- Chi phí cơ sở hạ tầng và bảo trì thường được đánh giá thấp.
- Khoảng cách về bảo mật và khả năng quan sát có thể tăng lên khi hệ thống trở nên phức tạp hơn.
Các bước tiếp theo
- Xác định các mục tiêu về độ trễ, chất lượng và chi phí trước khi triển khai.
- Điểm chuẩn trong điều kiện tải và dữ liệu thực tế.
- Giám sát thiết bị về lỗi, độ lệch và tác động của người dùng.
- Chuẩn bị đường dẫn khôi phục và ứng phó sự cố trước khi mở rộng quy mô.
Tiếp tục khám phá
Bản tin miễn phí
Nhận bản tóm tắt AI hàng ngày
Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.
Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.
Tự kiểm tra
Take the Self-Reflection in Agent Loops quiz
Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.
Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp
Câu hỏi thường gặp
Tự phản ánh trong vòng lặp tác nhân là gì?
Tự phản ánh cho phép tác nhân AI phê bình kết quả đầu ra và hành động của chính mình trong khi thực hiện nhiệm vụ, sau đó sửa đổi dựa trên lời phê bình đó. Nó biến người đoán một lần thành một hệ thống có thể bắt và sửa lỗi của chính nó.
Sự tự phản ánh bổ sung thêm điều gì vào vòng lặp tác nhân tiêu chuẩn?
Tự phản ánh chèn một bước đánh giá trong đó tác nhân phê bình các hành động hoặc kết quả gần đây của mình và sử dụng lời phê bình đó để hướng dẫn bước đi tiếp theo của mình.
Trong khung Phản ánh, những lời tự phê bình của mô hình được lưu trữ ở đâu?
Phản xạ lưu giữ những lời tự phê bình bằng lời nói trong bộ nhớ đệm theo từng giai đoạn và đưa chúng vào bối cảnh trong những lần thử nghiệm sau này, vì vậy việc học tập diễn ra trong bối cảnh thay vì thông qua cập nhật trọng số.
Tín hiệu phản hồi nào cho sự phản xạ có xu hướng đáng tin cậy nhất?
Các tín hiệu bên ngoài có căn cứ như kiểm tra thất bại hoặc lỗi thời gian chạy mang lại phản hồi cụ thể, đáng tin cậy, trong khi những lời phê bình thuần túy do tự tạo ra có thể sai.
Chế độ tự phản ánh thất bại đã biết là gì?
Nếu không có phản hồi có căn cứ, các mô hình đôi khi sẽ xem xét công việc có sai sót và kết luận sai rằng nó ổn, vì vậy việc xác minh bên ngoài là rất quan trọng.
Phương pháp Tự Tinh chỉnh thường tạo ra phản hồi như thế nào?
Self-Refine có một mô hình duy nhất tạo ra phản hồi về bản nháp của nó và sau đó sửa đổi lặp đi lặp lại kết quả bằng cách sử dụng phản hồi đó.
Tiếp tục học hỏi
Hướng dẫn liên quan
Đã chọn thêm hướng dẫn cho chủ đề này