HƯỚNG DẪN KỸ THUẬT

Điểm chuẩn của đại lý mã hóa và băng ghế dự bị SWE

SWE-bench là một tiêu chuẩn kiểm tra xem một hệ thống AI có thể giải quyết các sự cố GitHub thực tế bằng cách chỉnh sửa cơ sở mã Python để các bài kiểm tra của chính dự án vượt qua hay không.

Nghe hướng dẫn nàyAI thuật lại · ~3 min

Trên trang nàyđọc 4 phút
  1. Tổng quan
  2. Lặn sâu
  3. Triển khai trong thế giới thực
  4. Tương lai của Điểm chuẩn SWE-bench và Coding Agent
  5. Đưa nó vào thực tế
  6. Tiếp tục khám phá
  7. Câu hỏi thường gặp

Tổng quan

Điều này quan trọng vì đây là một trong những thước đo được trích dẫn nhiều nhất của các tác nhân mã hóa và điểm số của nó rất dễ bị đọc quá mức mà không biết các nhiệm vụ, khung tác nhân và kiểm tra hoạt động như thế nào.

Lặn sâu

SWE-bench được Carlos Jimenez và các đồng nghiệp tại Princeton giới thiệu vào năm 2023 và được xuất bản tại ICLR 2024. Nó chứa 2.294 phiên bản tác vụ được rút ra từ 12 kho lưu trữ Python được sử dụng rộng rãi, bao gồm Django, scikit-learn, Symy, matplotlib và các yêu cầu. Mỗi phiên bản kết hợp một sự cố GitHub thực sự với yêu cầu kéo đã khắc phục sự cố đó. Hệ thống đang được thử nghiệm sẽ nhận được văn bản vấn đề và kho lưu trữ như trước khi sửa lỗi và phải tạo ra một bản vá. Việc tính điểm sử dụng các bài kiểm tra từ yêu cầu kéo ban đầu. Các thử nghiệm FAIL_TO_PASS không thành công trước bản sửa lỗi của con người và đã vượt qua sau bản sửa lỗi đó, vì vậy họ kiểm tra xem sự cố đã được giải quyết chưa. Các bài kiểm tra PASS_TO_PASS đã vượt qua cả trước và sau, vì vậy họ kiểm tra xem không có gì khác bị hỏng. Một phiên bản chỉ được tính là đã giải quyết nếu tất cả những điều này đều đạt và số tiêu đề là tỷ lệ phần trăm được giải quyết. Khi ra mắt, những mẫu máy tốt nhất chỉ giải quyết được một vài phần trăm nhiệm vụ. Hai tập hợp con quan trọng. SWE-bench Lite có 300 phiên bản được chọn rẻ hơn và khép kín hơn. SWE-bench Verify, được phát hành vào năm 2024 bởi OpenAI cùng với các tác giả của SWE-bench, có 500 trường hợp mà các kỹ sư con người đã sàng lọc để loại bỏ các mô tả vấn đề mơ hồ hoặc các thử nghiệm sẽ từ chối các giải pháp hợp lệ. Đã xác minh hiện là phần chia được trích dẫn phổ biến nhất. Điểm số phản ánh một mô hình cộng với giàn giáo của nó, chương trình cho phép nó duyệt các tệp, chạy lệnh và chỉnh sửa mã. Đại lý SWE từ Princeton và đường dẫn Agentless, giúp bản địa hóa, sửa chữa và xác thực mà không cần vòng lặp đại lý kết thúc mở, là những ví dụ nổi tiếng. Cùng một mô hình có thể ghi điểm rất khác nhau trong các giàn giáo khác nhau. Các cách đọc sai phổ biến: bộ gốc chỉ có Python và bao gồm hàng tá kho lưu trữ; vượt qua các bài kiểm tra không đảm bảo mã có thể duy trì được; các kho lưu trữ và bản sửa lỗi đều được công khai nên có thể xảy ra ô nhiễm; và kết quả của nhiều lần thử không thể so sánh được với kết quả của một lần thử. Các điểm chuẩn liên quan như SWE-bench Multilingual, SWE-Lancer và Terminal-Bench thăm dò các ngôn ngữ khác, các tác vụ tự do và công việc dòng lệnh.

Triển khai trong thế giới thực

Một tác vụ giao cho tác nhân một sự cố Django mô tả hành vi không chính xác cộng với việc kiểm tra kho lưu trữ tại cam kết trước khi sửa lỗi; tác nhân phải viết một bản vá, sau đó được đánh giá bằng các thử nghiệm mà bản sửa lỗi ban đầu của con người đã thực hiện thành công.

Nhà cung cấp báo cáo điểm đã được xác minh trên băng ghế dự bị SWE bằng cách sử dụng khai thác tác nhân của riêng mình và một số lần thử cho mỗi nhiệm vụ; người mua nên xác nhận xem đó có phải là kết quả một lần thử hay không trước khi so sánh nó với số của nhà cung cấp khác.

Một nhóm kỹ thuật xây dựng một bộ kiểu băng ghế dự bị SWE nội bộ từ các kho lưu trữ riêng của họ và giải quyết các phiếu để kiểm tra xem liệu một tác nhân được xếp hạng công khai tốt có thực sự hoạt động trên mã của họ hay không.

Các nhà nghiên cứu sử dụng SWE-bench Multimodal, trong đó các vấn đề đến từ các dự án giao diện người dùng JavaScript và thường bao gồm ảnh chụp màn hình các lỗi hình ảnh, để kiểm tra các kỹ năng mà bản gốc chỉ có Python không thể đo lường được.

Tương lai của Điểm chuẩn SWE-bench và Coding Agent

Khi điểm số cao nhất trên SWE-bench Added tăng lên, điểm chuẩn phân biệt các hệ thống hàng đầu ít rõ ràng hơn và sự chú ý đang chuyển sang các nhóm nhiệm vụ mới hơn với các vấn đề mới hơn, nhiều ngôn ngữ lập trình hơn, công việc nhiều bước dài hơn cũng như báo cáo về chi phí và độ tin cậy. Sự ô nhiễm là mối lo ngại lâu dài vì các kho nguồn được công khai, ưu tiên các điểm chuẩn bổ sung các tác vụ gần đây. Đối với các nhóm lựa chọn công cụ, bảng xếp hạng công khai là điểm khởi đầu; đại lý thử nghiệm trên cơ sở mã và vé của riêng họ vẫn là tín hiệu đáng tin cậy nhất.

Đưa nó vào thực tế

Tại sao nó quan trọng

  • Chi phí và ngân sách. Các quyết định về kiến ​​trúc sẽ thúc đẩy hiệu suất và chi phí vận hành trong nhiều năm.
  • Quyết định rõ ràng hơn. Giáo dục kỹ thuật giúp các nhóm chọn nhóm phù hợp chứ không chỉ nhóm mới nhất.
  • Kiểm soát chất lượng. Lựa chọn kỹ thuật tốt hơn làm giảm sự cố về độ tin cậy trong sản xuất.

coi chừng

  • Tối ưu hóa một điểm chuẩn có thể che giấu những điểm yếu của hệ thống rộng hơn.
  • Chi phí cơ sở hạ tầng và bảo trì thường được đánh giá thấp.
  • Khoảng cách về bảo mật và khả năng quan sát có thể tăng lên khi hệ thống trở nên phức tạp hơn.

Các bước tiếp theo

  1. Xác định các mục tiêu về độ trễ, chất lượng và chi phí trước khi triển khai.
  2. Điểm chuẩn trong điều kiện tải và dữ liệu thực tế.
  3. Giám sát thiết bị về lỗi, độ lệch và tác động của người dùng.
  4. Chuẩn bị đường dẫn khôi phục và ứng phó sự cố trước khi mở rộng quy mô.

Tiếp tục khám phá

Bản tin miễn phí

Nhận bản tóm tắt AI hàng ngày

Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.

Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.

Tự kiểm tra

Làm bài kiểm tra về Điểm chuẩn của tác nhân mã hóa và băng ghế dự bị SWE

Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.

Bắt đầu bài kiểm tra

Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp

Câu hỏi thường gặp

Điểm chuẩn SWE-bench và Coding Agent là gì?

SWE-bench là điểm chuẩn kiểm tra xem hệ thống AI có thể giải quyết các vấn đề GitHub thực tế hay không bằng cách chỉnh sửa cơ sở mã Python để các bài kiểm tra của chính dự án vượt qua. Điều này quan trọng vì đây là một trong những thước đo được trích dẫn nhiều nhất của các tác nhân mã hóa và điểm số của nó rất dễ bị đọc quá mức mà không biết các nhiệm vụ, khung tác nhân và kiểm tra hoạt động như thế nào.

Nhiệm vụ dự bị SWE yêu cầu hệ thống làm gì?

Mỗi phiên bản kết hợp một sự cố thực sự với ảnh chụp nhanh của kho lưu trữ và hệ thống phải tạo một bản vá mã để khắc phục sự cố đó.

Bài kiểm tra FAIL_TO_PASS là gì?

Họ xác nhận rằng vấn đề đã thực sự được giải quyết vì họ chỉ vượt qua khi đã khắc phục được sự cố.

Vai trò của các bài kiểm tra PASS_TO_PASS là gì?

Chúng đã vượt qua trước và sau bản sửa lỗi của con người, vì vậy chúng đề phòng các sự hồi quy do bản vá của tác nhân gây ra.

Băng ghế dự bị SWE đã được xác minh là gì?

Đã xác minh được OpenAI phát hành vào năm 2024 với sự tham gia của các tác giả SWE-bench, lọc ra các nhiệm vụ chưa được xác định rõ hoặc có các thử nghiệm từ chối các giải pháp hợp lệ.

Có bao nhiêu phiên bản trong SWE-bench Lite?

Lite là tập hợp con gồm 300 phiên bản được chọn để rẻ hơn và khép kín hơn.