概述
這很重要,因為它是編碼代理最常被引用的衡量標準之一,而且它的分數很容易在不知道任務、代理支架和測試檢查如何工作的情況下被過度閱讀。
深入探討
SWE-bench 由普林斯頓大學的 Carlos Jimenez 及其同事於 2023 年推出,並在 ICLR 2024 上發布。它包含來自 12 個廣泛使用的 Python 儲存庫的 2,294 個任務實例,包括 Django、scikit-learn、sympy、matplotlib 和 requests。每個實例都會將一個真實的 GitHub 問題與修復該問題的拉取請求配對。接受測試的系統會收到問題文字和修復前的儲存庫,並且必須產生補丁。評分使用原始拉取請求中的測驗。 FAIL_TO_PASS 測試在人工修復之前失敗,但在人工修復之後通過,因此他們檢查問題是否已解決。前後都通過了 PASS_TO_PASS 測試,因此他們檢查沒有其他任何問題。只有當所有這些都通過時,實例才算為已解決,標題數字是已解決的百分比。在發佈時,最好的模型只能解決百分之幾的任務。兩個子集很重要。 SWE-bench Lite 有 300 個實例,選擇更便宜且更獨立。 SWE-bench Verified 由 OpenAI 與 SWE-bench 作者於 2024 年發布,有 500 個實例,人類工程師篩選了這些實例,以刪除模糊的問題描述或會拒絕有效解決方案的測試。已驗證是現在最常引用的拆分。分數反映了模型及其支架,即允許其瀏覽文件、運行命令和編輯程式碼的程式。普林斯頓大學的 SWE-agent 和 Agentless pipeline 就是眾所周知的例子,它可以在沒有開放式代理循環的情況下進行本地化、修復和驗證。相同的模型在不同的支架中得分可能會大不相同。常見誤讀:原始集合僅為Python,涵蓋十幾個儲存庫;透過測試並不能保證程式碼可維護;儲存庫和修復程式是公開的,因此可能會受到污染;並且多次嘗試的結果無法與單次嘗試的結果相比較。 SWE-bench Multilingual、SWE-Lancer 和 Terminal-Bench 等相關基準測試可探測其他語言、自由任務和命令列工作。
現實世界的實施
任務向代理提供一個描述錯誤行為的 Django 問題,並在修復之前在提交時檢出存儲庫;代理必須編寫補丁,然後通過原始人工修復是否通過的測試來判斷補丁。
供應商使用自己的代理工具和每個任務的多次嘗試來報告 SWE 基準驗證分數;買家在與其他供應商的號碼進行比較之前,應確認這是否是單次嘗試的結果。
工程團隊從自己的私人儲存庫建立了一個內部 SWE 工作台風格的集合,並解析了票證,以檢查公開排名良好的代理是否確實可以在其程式碼上運行。
研究人員使用 SWE-bench Multimodal(其中問題來自 JavaScript 前端項目,並且通常包括視覺錯誤的螢幕截圖)來測試僅 Python 原始項目無法測量的技能。
SWE 基準和編碼代理基準的未來
隨著 SWE-bench Verified 最高分的上升,該基準測試對領先系統的區分不再那麼清晰,人們的注意力正在轉向具有更新問題、更多程式語言、更長的多步驟工作以及成本和可靠性報告的新任務集。污染是一個持久的問題,因為來源儲存庫是公共的,這有利於添加最近任務的基準。對於選擇工具的團隊來說,公共排行榜是一個起點;在自己的程式碼庫和票證上測試代理商仍然是最可靠的訊號。
付諸實踐
為什麼這很重要
- 成本與預算. 多年來,架構決策決定著效能和營運成本。
- 更明確的決策. 技術教育幫助團隊選擇正確的堆疊,而不僅僅是最新的堆疊。
- 品質管控. 更好的工程選擇可以減少生產中的可靠性事故。
留意
- 優化一項基準測試可以隱藏更廣泛的系統弱點。
- 基礎設施和維護成本常常被低估。
- 隨著系統變得更加複雜,安全性和可觀察性差距可能會擴大。
後續步驟
- 在實施之前定義延遲、品質和成本目標。
- 在實際負載和資料條件下進行基準測試。
- 儀器監控錯誤、漂移和使用者影響。
- 在擴展之前準備回滾和事件回應路徑。
不斷探索
常見問題
什麼是 SWE 基準和編碼代理基準?
SWE-bench 是一個基準測試,用於測試 AI 系統是否可以透過編輯 Python 程式碼庫來解決真正的 GitHub 問題,以便專案本身的測試通過。這很重要,因為它是編碼代理最常被引用的衡量標準之一,而且它的分數很容易在不知道任務、代理支架和測試檢查如何工作的情況下被過度閱讀。
SWE-bench 任務要求系統做什麼?
每個實例都會將一個實際問題與儲存庫快照配對,並且系統必須產生修復該問題的程式碼補丁。
什麼是 FAIL_TO_PASS 測試?
他們確認問題實際上已經解決,因為只有修復到位後才會通過。
PASS_TO_PASS 測試的功能是什麼?
它們在人工修復之前和之後通過,因此它們可以防止代理補丁引入的回歸。
什麼是 SWE-bench 驗證?
Verified 由 OpenAI 與 SWE-bench 作者於 2024 年發布,過濾掉未指定的任務或測試拒絕有效解決方案的任務。
SWE-bench Lite 中有多少個實例?
Lite 是一個包含 300 個實例的子集,選擇它更便宜且更獨立。