Tiếp theoHướng dẫn tiếp theo
IFEval và Điểm chuẩn theo hướng dẫn
kỹ thuật
HƯỚNG DẪN KỸ THUẬT
SWE-bench là một tiêu chuẩn kiểm tra xem một hệ thống AI có thể giải quyết các sự cố GitHub thực tế bằng cách chỉnh sửa cơ sở mã Python để các bài kiểm tra của chính dự án vượt qua hay không.
Nghe hướng dẫn nàyAI thuật lại · ~3 min
Điều này quan trọng vì đây là một trong những thước đo được trích dẫn nhiều nhất của các tác nhân mã hóa và điểm số của nó rất dễ bị đọc quá mức mà không biết các nhiệm vụ, khung tác nhân và kiểm tra hoạt động như thế nào.
SWE-bench được Carlos Jimenez và các đồng nghiệp tại Princeton giới thiệu vào năm 2023 và được xuất bản tại ICLR 2024. Nó chứa 2.294 phiên bản tác vụ được rút ra từ 12 kho lưu trữ Python được sử dụng rộng rãi, bao gồm Django, scikit-learn, Symy, matplotlib và các yêu cầu. Mỗi phiên bản kết hợp một sự cố GitHub thực sự với yêu cầu kéo đã khắc phục sự cố đó. Hệ thống đang được thử nghiệm sẽ nhận được văn bản vấn đề và kho lưu trữ như trước khi sửa lỗi và phải tạo ra một bản vá. Việc tính điểm sử dụng các bài kiểm tra từ yêu cầu kéo ban đầu. Các thử nghiệm FAIL_TO_PASS không thành công trước bản sửa lỗi của con người và đã vượt qua sau bản sửa lỗi đó, vì vậy họ kiểm tra xem sự cố đã được giải quyết chưa. Các bài kiểm tra PASS_TO_PASS đã vượt qua cả trước và sau, vì vậy họ kiểm tra xem không có gì khác bị hỏng. Một phiên bản chỉ được tính là đã giải quyết nếu tất cả những điều này đều đạt và số tiêu đề là tỷ lệ phần trăm được giải quyết. Khi ra mắt, những mẫu máy tốt nhất chỉ giải quyết được một vài phần trăm nhiệm vụ. Hai tập hợp con quan trọng. SWE-bench Lite có 300 phiên bản được chọn rẻ hơn và khép kín hơn. SWE-bench Verify, được phát hành vào năm 2024 bởi OpenAI cùng với các tác giả của SWE-bench, có 500 trường hợp mà các kỹ sư con người đã sàng lọc để loại bỏ các mô tả vấn đề mơ hồ hoặc các thử nghiệm sẽ từ chối các giải pháp hợp lệ. Đã xác minh hiện là phần chia được trích dẫn phổ biến nhất. Điểm số phản ánh một mô hình cộng với giàn giáo của nó, chương trình cho phép nó duyệt các tệp, chạy lệnh và chỉnh sửa mã. Đại lý SWE từ Princeton và đường dẫn Agentless, giúp bản địa hóa, sửa chữa và xác thực mà không cần vòng lặp đại lý kết thúc mở, là những ví dụ nổi tiếng. Cùng một mô hình có thể ghi điểm rất khác nhau trong các giàn giáo khác nhau. Các cách đọc sai phổ biến: bộ gốc chỉ có Python và bao gồm hàng tá kho lưu trữ; vượt qua các bài kiểm tra không đảm bảo mã có thể duy trì được; các kho lưu trữ và bản sửa lỗi đều được công khai nên có thể xảy ra ô nhiễm; và kết quả của nhiều lần thử không thể so sánh được với kết quả của một lần thử. Các điểm chuẩn liên quan như SWE-bench Multilingual, SWE-Lancer và Terminal-Bench thăm dò các ngôn ngữ khác, các tác vụ tự do và công việc dòng lệnh.
Một tác vụ giao cho tác nhân một sự cố Django mô tả hành vi không chính xác cộng với việc kiểm tra kho lưu trữ tại cam kết trước khi sửa lỗi; tác nhân phải viết một bản vá, sau đó được đánh giá bằng các thử nghiệm mà bản sửa lỗi ban đầu của con người đã thực hiện thành công.
Nhà cung cấp báo cáo điểm đã được xác minh trên băng ghế dự bị SWE bằng cách sử dụng khai thác tác nhân của riêng mình và một số lần thử cho mỗi nhiệm vụ; người mua nên xác nhận xem đó có phải là kết quả một lần thử hay không trước khi so sánh nó với số của nhà cung cấp khác.
Một nhóm kỹ thuật xây dựng một bộ kiểu băng ghế dự bị SWE nội bộ từ các kho lưu trữ riêng của họ và giải quyết các phiếu để kiểm tra xem liệu một tác nhân được xếp hạng công khai tốt có thực sự hoạt động trên mã của họ hay không.
Các nhà nghiên cứu sử dụng SWE-bench Multimodal, trong đó các vấn đề đến từ các dự án giao diện người dùng JavaScript và thường bao gồm ảnh chụp màn hình các lỗi hình ảnh, để kiểm tra các kỹ năng mà bản gốc chỉ có Python không thể đo lường được.
Khi điểm số cao nhất trên SWE-bench Added tăng lên, điểm chuẩn phân biệt các hệ thống hàng đầu ít rõ ràng hơn và sự chú ý đang chuyển sang các nhóm nhiệm vụ mới hơn với các vấn đề mới hơn, nhiều ngôn ngữ lập trình hơn, công việc nhiều bước dài hơn cũng như báo cáo về chi phí và độ tin cậy. Sự ô nhiễm là mối lo ngại lâu dài vì các kho nguồn được công khai, ưu tiên các điểm chuẩn bổ sung các tác vụ gần đây. Đối với các nhóm lựa chọn công cụ, bảng xếp hạng công khai là điểm khởi đầu; đại lý thử nghiệm trên cơ sở mã và vé của riêng họ vẫn là tín hiệu đáng tin cậy nhất.
Bản tin miễn phí
Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.
Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.
Tự kiểm tra
Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.
Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp
SWE-bench là điểm chuẩn kiểm tra xem hệ thống AI có thể giải quyết các vấn đề GitHub thực tế hay không bằng cách chỉnh sửa cơ sở mã Python để các bài kiểm tra của chính dự án vượt qua. Điều này quan trọng vì đây là một trong những thước đo được trích dẫn nhiều nhất của các tác nhân mã hóa và điểm số của nó rất dễ bị đọc quá mức mà không biết các nhiệm vụ, khung tác nhân và kiểm tra hoạt động như thế nào.
Mỗi phiên bản kết hợp một sự cố thực sự với ảnh chụp nhanh của kho lưu trữ và hệ thống phải tạo một bản vá mã để khắc phục sự cố đó.
Họ xác nhận rằng vấn đề đã thực sự được giải quyết vì họ chỉ vượt qua khi đã khắc phục được sự cố.
Chúng đã vượt qua trước và sau bản sửa lỗi của con người, vì vậy chúng đề phòng các sự hồi quy do bản vá của tác nhân gây ra.
Đã xác minh được OpenAI phát hành vào năm 2024 với sự tham gia của các tác giả SWE-bench, lọc ra các nhiệm vụ chưa được xác định rõ hoặc có các thử nghiệm từ chối các giải pháp hợp lệ.
Lite là tập hợp con gồm 300 phiên bản được chọn để rẻ hơn và khép kín hơn.
Tiếp tục học hỏi
Đã chọn thêm hướng dẫn cho chủ đề này
Tiếp theoHướng dẫn tiếp theo
IFEval và Điểm chuẩn theo hướng dẫn
kỹ thuật