技術指南

SWE 基準和編碼代理基準

SWE-bench 是一個基準測試,用於測試 AI 系統是否可以透過編輯 Python 程式碼庫來解決真正的 GitHub 問題,以便專案本身的測試通過。

聆聽此指南AI 語音敘述 · ~3 min

本頁4 分鐘閱讀
  1. 概述
  2. 深入探討
  3. 現實世界的實施
  4. SWE 基準和編碼代理基準的未來
  5. 付諸實踐
  6. 不斷探索
  7. 常見問題

概述

這很重要,因為它是編碼代理最常被引用的衡量標準之一,而且它的分數很容易在不知道任務、代理支架和測試檢查如何工作的情況下被過度閱讀。

深入探討

SWE-bench 由普林斯頓大學的 Carlos Jimenez 及其同事於 2023 年推出,並在 ICLR 2024 上發布。它包含來自 12 個廣泛使用的 Python 儲存庫的 2,294 個任務實例,包括 Django、scikit-learn、sympy、matplotlib 和 requests。每個實例都會將一個真實的 GitHub 問題與修復該問題的拉取請求配對。接受測試的系統會收到問題文字和修復前的儲存庫,並且必須產生補丁。評分使用原始拉取請求中的測驗。 FAIL_TO_PASS 測試在人工修復之前失敗,但在人工修復之後通過,因此他們檢查問題是否已解決。前後都通過了 PASS_TO_PASS 測試,因此他們檢查沒有其他任何問題。只有當所有這些都通過時,實例才算為已解決,標題數字是已解決的百分比。在發佈時,最好的模型只能解決百分之幾的任務。兩個子集很重要。 SWE-bench Lite 有 300 個實例,選擇更便宜且更獨立。 SWE-bench Verified 由 OpenAI 與 SWE-bench 作者於 2024 年發布,有 500 個實例,人類工程師篩選了這些實例,以刪除模糊的問題描述或會拒絕有效解決方案的測試。已驗證是現在最常引用的拆分。分數反映了模型及其支架,即允許其瀏覽文件、運行命令和編輯程式碼的程式。普林斯頓大學的 SWE-agent 和 Agentless pipeline 就是眾所周知的例子,它可以在沒有開放式代理循環的情況下進行本地化、修復和驗證。相同的模型在不同的支架中得分可能會大不相同。常見誤讀:原始集合僅為Python,涵蓋十幾個儲存庫;透過測試並不能保證程式碼可維護;儲存庫和修復程式是公開的,因此可能會受到污染;並且多次嘗試的結果無法與單次嘗試的結果相比較。 SWE-bench Multilingual、SWE-Lancer 和 Terminal-Bench 等相關基準測試可探測其他語言、自由任務和命令列工作。

現實世界的實施

任務向代理提供一個描述錯誤行為的 Django 問題,並在修復之前在提交時檢出存儲庫;代理必須編寫補丁,然後通過原始人工修復是否通過的測試來判斷補丁。

供應商使用自己的代理工具和每個任務的多次嘗試來報告 SWE 基準驗證分數;買家在與其他供應商的號碼進行比較之前,應確認這是否是單次嘗試的結果。

工程團隊從自己的私人儲存庫建立了一個內部 SWE 工作台風格的集合,並解析了票證,以檢查公開排名良好的代理是否確實可以在其程式碼上運行。

研究人員使用 SWE-bench Multimodal(其中問題來自 JavaScript 前端項目,並且通常包括視覺錯誤的螢幕截圖)來測試僅 Python 原始項目無法測量的技能。

SWE 基準和編碼代理基準的未來

隨著 SWE-bench Verified 最高分的上升,該基準測試對領先系統的區分不再那麼清晰,人們的注意力正在轉向具有更新問題、更多程式語言、更長的多步驟工作以及成本和可靠性報告的新任務集。污染是一個持久的問題,因為來源儲存庫是公共的,這有利於添加最近任務的基準。對於選擇工具的團隊來說,公共排行榜是一個起點;在自己的程式碼庫和票證上測試代理商仍然是最可靠的訊號。

付諸實踐

為什麼這很重要

  • 成本與預算. 多年來,架構決策決定著效能和營運成本。
  • 更明確的決策. 技術教育幫助團隊選擇正確的堆疊,而不僅僅是最新的堆疊。
  • 品質管控. 更好的工程選擇可以減少生產中的可靠性事故。

留意

  • 優化一項基準測試可以隱藏更廣泛的系統弱點。
  • 基礎設施和維護成本常常被低估。
  • 隨著系統變得更加複雜,安全性和可觀察性差距可能會擴大。

後續步驟

  1. 在實施之前定義延遲、品質和成本目標。
  2. 在實際負載和資料條件下進行基準測試。
  3. 儀器監控錯誤、漂移和使用者影響。
  4. 在擴展之前準備回滾和事件回應路徑。

不斷探索

免費電子報

獲取每日 AI 簡報

每個工作日上午提供三則經過驗證的 AI 新聞,以淺顯易懂的英文撰寫。永久免費,無廣告。

每個工作日一封電子郵件。一鍵取消訂閱。我們絕不出售或分享您的地址。

測試一下自己

參加 SWE-bench 和 Coding Agent 基準測試測驗

每個答案皆有即時回饋,通過課程後可獲得具備可驗證 ID 的可分享證書。

開始測驗

支持免費的 AI 教育。AI Understanding 是一個 501(c)(3) 非營利組織——絕無廣告,絕無付費牆。 捐款

常見問題

什麼是 SWE 基準和編碼代理基準?

SWE-bench 是一個基準測試,用於測試 AI 系統是否可以透過編輯 Python 程式碼庫來解決真正的 GitHub 問題,以便專案本身的測試通過。這很重要,因為它是編碼代理最常被引用的衡量標準之一,而且它的分數很容易在不知道任務、代理支架和測試檢查如何工作的情況下被過度閱讀。

SWE-bench 任務要求系統做什麼?

每個實例都會將一個實際問題與儲存庫快照配對,並且系統必須產生修復該問題的程式碼補丁。

什麼是 FAIL_TO_PASS 測試?

他們確認問題實際上已經解決,因為只有修復到位後才會通過。

PASS_TO_PASS 測試的功能是什麼?

它們在人工修復之前和之後通過,因此它們可以防止代理補丁引入的回歸。

什麼是 SWE-bench 驗證?

Verified 由 OpenAI 與 SWE-bench 作者於 2024 年發布,過濾掉未指定的任務或測試拒絕有效解決方案的任務。

SWE-bench Lite 中有多少個實例?

Lite 是一個包含 300 個實例的子集,選擇它更便宜且更獨立。