Bài kiểm tra có liên kết hướng dẫn · Trung bình Cấp độ

Bài kiểm tra điểm chuẩn của tác nhân mã hóa và băng ghế dự bị SWE

Kiểm tra cách xây dựng các nhiệm vụ băng ghế dự bị SWE, tính điểm FAIL_TO_PASS và PASS_TO_PASS, các tập hợp con Lite và Đã xác minh cũng như lý do giàn giáo thay đổi kết quả.

Đường dẫn hướng dẫn liên quanĐiểm chuẩn của đại lý mã hóa và băng ghế Swe
Câu hỏi 1 của 8

Nhiệm vụ dự bị SWE yêu cầu hệ thống làm gì?

Xem trước mọi câu hỏi8 câu hỏi

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

  1. Nhiệm vụ dự bị SWE yêu cầu hệ thống làm gì?
    • Write a new library from a specification
    • Produce a patch that resolves a real GitHub issue in a Python repository
    • Answer multiple-choice questions about code
    • Translate code from Python to Java
  2. Bài kiểm tra FAIL_TO_PASS là gì?
    • Tests that always fail
    • Tests the agent writes itself
    • Tests that are skipped during scoring
    • Tests that failed before the human fix and passed after it
  3. Vai trò của các bài kiểm tra PASS_TO_PASS là gì?
    • Checking that the patch did not break behavior that already worked
    • Checking the code style of the patch
    • Measuring how fast the patch runs
    • Verifying the issue text is accurate
  4. Băng ghế dự bị SWE đã được xác minh là gì?
    • The full set of 2,294 tasks
    • A set of JavaScript tasks with screenshots
    • 500 tasks screened by human engineers to remove vague issues and unfair tests
    • A private test set never released publicly
  5. Có bao nhiêu phiên bản trong SWE-bench Lite?
    • 164
    • 300
    • 500
    • 2,294
  6. Why can the same model get very different SWE-bench scores?
    • Scores depend on the scaffold that lets the model browse, run commands and edit files
    • The tests are randomly generated each run
    • The repositories are different for each model
    • Only the model's size affects the score
  7. Which is a real limitation of the original SWE-bench?
    • It has no tests
    • It uses only synthetic issues
    • It cannot be run in Docker
    • It is Python-only and drawn from about a dozen repositories
  8. Does the agent see the evaluation test patch while working?
    • Yes, it is included in the issue text
    • Yes, but only the PASS_TO_PASS tests
    • No, the harness applies the test patch separately after the agent's patch
    • No, because SWE-bench has no tests