Tiếp theoHướng dẫn tiếp theo
Hộp cát thực thi mã dành cho đại lý
kỹ thuật
HƯỚNG DẪN KỸ THUẬT
Giàn giáo và dây nịt
Khai thác tác nhân hay giàn giáo là mã xung quanh một mô hình ngôn ngữ để biến nó thành một tác nhân: nó chạy vòng lặp gọi mô hình, thực thi các công cụ mà nó yêu cầu, phản hồi kết quả và quyết định khi nào nên dừng.
Trên trang nàyĐọc trong 3 phút
Tổng quan
Điều này quan trọng vì dây nịt định hình rõ ràng kết quả, do đó, cùng một mô hình có thể đạt điểm rất khác nhau trên cùng một điểm chuẩn tùy thuộc vào cách thiết kế các công cụ, bối cảnh và xử lý lỗi của nó.
Lặn sâu
Một mô hình ngôn ngữ tự nó tạo ra văn bản. Tác nhân cần một chương trình liên tục hỏi mô hình phải làm gì, thực hiện hành động đó và hiển thị cho mô hình điều gì đã xảy ra. Chương trình đó chính là dây nịt. Các phần cốt lõi của nó là vòng lặp, định nghĩa công cụ, gửi công cụ, quản lý ngữ cảnh, quy tắc dừng và xử lý lỗi. Vòng lặp sẽ gửi cuộc trò chuyện cho đến nay đến mô hình. Nếu mô hình yêu cầu một công cụ thì bộ khai thác sẽ xác thực các đối số, chạy công cụ đó và nối thêm kết quả. Nếu mô hình đưa ra câu trả lời cuối cùng thì vòng lặp sẽ kết thúc. Quy tắc dừng sẽ thêm các giới hạn: số bước tối đa, ngân sách mã thông báo hoặc chi phí, thời gian chờ hoặc kiểm tra, chẳng hạn như vượt qua bài kiểm tra. Thiết kế công cụ có tác dụng lớn. Dự án tác nhân SWE của các nhà nghiên cứu Princeton, xuất bản năm 2024, lập luận rằng các tác nhân cần giao diện tác nhân-máy tính được thiết kế cho các mô hình, với trình xem tệp ngắn gọn, lệnh tìm kiếm và phản hồi ngay lập tức về các chỉnh sửa sai, đồng thời cho thấy kết quả cải thiện này so với việc cung cấp cho mô hình một lớp vỏ đơn giản. Định dạng đầu ra cũng quan trọng: cắt bớt các đầu ra lớn, tóm tắt lỗi rõ ràng và trả về kết quả có cấu trúc giúp mô hình hoạt động chính xác. Quản lý bối cảnh quyết định những gì mô hình nhìn thấy khi lịch sử phát triển: giữ các bước gần đây, tóm tắt các bước cũ hơn hoặc lưu trữ ghi chú trong tệp. Việc xử lý lỗi quyết định liệu lệnh gọi công cụ không thành công có làm gián đoạn quá trình chạy hay được trả về mô hình dưới dạng thông tin mà mô hình có thể phản hồi. Đây là lý do tại sao số điểm chuẩn cần có ngữ cảnh. Trên các điểm chuẩn mã hóa như băng ghế dự bị SWE, điểm số được báo cáo cho một mô hình khác nhau tùy theo khung, chính sách thử lại và giới hạn bước. Một quan niệm sai lầm phổ biến là số liệu trên bảng xếp hạng chỉ đo lường mô hình; nó đo mô hình cộng với dây nịt cộng với cài đặt. Các sản phẩm như tác nhân mã hóa dòng lệnh phần lớn là các khai thác được thiết kế cẩn thận xung quanh một mô hình.
Tác động chiến lược
Chi phí và ngân sách
Các quyết định về kiến trúc sẽ thúc đẩy hiệu suất và chi phí vận hành trong nhiều năm.
Quyết định rõ ràng hơn
Giáo dục kỹ thuật giúp các nhóm chọn nhóm phù hợp chứ không chỉ nhóm mới nhất.
Kiểm soát chất lượng
Lựa chọn kỹ thuật tốt hơn làm giảm sự cố về độ tin cậy trong sản xuất.
Tương lai của giàn giáo và dây nịt đặc vụ
Các nhà cung cấp mô hình ngày càng cung cấp các sản phẩm đại lý và bộ công cụ phát triển phần mềm của riêng họ, tiêu chuẩn hóa một số mẫu khai thác như lược đồ công cụ, quyền và nén ngữ cảnh. Các giao thức kết nối công cụ với mô hình, chẳng hạn như Giao thức bối cảnh mô hình, giúp việc tích hợp công cụ có thể tái sử dụng nhiều hơn. Thiết kế dây nịt có thể vẫn là nguyên nhân quan trọng tạo ra sự khác biệt về hiệu suất và các đánh giá đang hướng tới việc báo cáo giàn giáo cùng với mô hình. Đối với các nhà xây dựng, thiết kế công cụ cẩn thận, quy tắc dừng rõ ràng và ghi nhật ký tốt sẽ luôn quan trọng bất kể mô hình nào ở bên dưới.
Triển khai trong thế giới thực
Khai thác tác nhân mã hóa cung cấp cho các công cụ mô hình để xem tệp, chỉnh sửa phạm vi dòng cụ thể và chạy thử nghiệm, sau đó lặp lại cho đến khi thử nghiệm vượt qua hoặc đạt đến giới hạn bước.
Bộ khai thác hỗ trợ nghiên cứu sẽ dừng vòng lặp sau 20 lệnh gọi công cụ và yêu cầu mô hình cung cấp bản tóm tắt về các nguồn, ngăn chặn chi phí vượt mức.
Một nhóm thay thế công cụ shell thô bằng một trình chỉnh sửa tệp hiển thị một cửa sổ ngắn gồm các dòng và báo cáo lỗi cú pháp ngay lập tức, đồng thời tỷ lệ thành công của nhân viên đối với các tác vụ nội bộ được cải thiện mà không cần thay đổi mô hình.
Khai thác đại lý hoạt động của khách hàng sẽ chặn bất kỳ lệnh gọi công cụ hoàn tiền nào vượt quá số tiền đã đặt và tạm dừng để con người phê duyệt trước khi thực hiện.
Rủi ro & lan can
Tối ưu hóa một điểm chuẩn có thể che giấu những điểm yếu của hệ thống rộng hơn.
Chi phí cơ sở hạ tầng và bảo trì thường được đánh giá thấp.
Khoảng cách về bảo mật và khả năng quan sát có thể tăng lên khi hệ thống trở nên phức tạp hơn.
Lộ trình thực hiện
Xác định các mục tiêu về độ trễ, chất lượng và chi phí trước khi triển khai.
Điểm chuẩn trong điều kiện tải và dữ liệu thực tế.
Giám sát thiết bị về lỗi, độ lệch và tác động của người dùng.
Chuẩn bị đường dẫn khôi phục và ứng phó sự cố trước khi mở rộng quy mô.
Tiếp tục khám phá
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Agent Scaffolding and Harnesses quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Câu hỏi thường gặp
Giàn giáo và dây đai tác nhân là gì?
Khai thác tác nhân hay giàn giáo là mã xung quanh một mô hình ngôn ngữ để biến nó thành một tác nhân: nó chạy vòng lặp gọi mô hình, thực thi các công cụ mà nó yêu cầu, phản hồi kết quả và quyết định khi nào nên dừng. Điều này quan trọng vì dây nịt định hình rõ ràng kết quả, do đó, cùng một mô hình có thể đạt điểm rất khác nhau trên cùng một điểm chuẩn tùy thuộc vào cách thiết kế các công cụ, bối cảnh và xử lý lỗi của nó.
Khai thác đại lý là gì?
Khai thác là chương trình xung quanh biến mô hình tạo văn bản thành tác nhân.
Đâu là ví dụ về quy tắc dừng?
Quy tắc dừng kết thúc vòng lặp dựa trên các giới hạn như số bước, ngân sách, thời gian chờ hoặc kiểm tra thành công.
Dự án đại lý SWE đã nhấn mạnh điều gì?
Đại lý SWE lập luận rằng các công cụ được thiết kế cho mô hình sẽ cải thiện kết quả so với lớp vỏ đơn giản.
Tại sao cùng một mô hình có thể đạt điểm khác nhau trên băng ghế dự bị SWE trong các báo cáo khác nhau?
Điểm chuẩn đo lường toàn bộ hệ thống chứ không chỉ riêng mô hình.
Dây nịt thường xử lý cuộc gọi công cụ không thành công như thế nào?
Việc trả về các lỗi có thể xử lý được cho phép mô hình điều chỉnh cách tiếp cận của nó thay vì kết thúc quá trình chạy.
Tiếp tục học hỏi
Hướng dẫn liên quan
Đã chọn thêm hướng dẫn cho chủ đề này