概述
這很重要,因為程式碼和代理程式基準測試會不斷報告它,而 pass@10 或 pass@100 分數看起來比用戶從單次嘗試中獲得的分數要好得多。
深入探討
Pass@k 源自於程式綜合研究,Kulal 和同事在 2019 年將其用於偽代碼到程式碼的任務,並成為 OpenAI 2021 年 Codex 論文的標準,該論文介紹了 HumanEval,這是一組 164 個手寫的 Python 程式設計問題。對於每個問題,模型都會編寫一個函數,並且僅當該函數通過隱藏單元測試時才算正確。 Pass@k 問:如果您抽取了 k 個樣本,那麼至少有一個通過的幾率是多少?基準分數是所有問題的機率平均值。最簡單的方法是為每個問題產生恰好 k 個樣本並檢查是否有任何通過,但該估計的雜訊非常大。 Codex 論文改為產生 n 個樣本,其中 n 大於 k(例如 200),計算 c 個正確樣本,併計算 k 個樣本的隨機子集包含至少一個正確樣本的機率:1 減去 C(n 減去 c, k) 除以 C(n, k)。此估計量是無偏的且變數少得多。將 c/n 代入 1 減(1 減 p)的 k 次方的捷徑是有偏差的。採樣溫度很重要。 Pass@1 通常在低溫下效果最好,而 pass@100 則受益於較高的溫度,因為更多樣的樣品會增加其有效的機會。論文通常為每個 k 選擇不同的溫度。代理基準測試增加了一個補充指標。 Sierra (2024) 的 tau-bench 論文定義了 pass^k,即所有 k 個獨立試驗成功的機率。它衡量的是可靠性而不是能力。常見的誤讀包括將一個模型的 pass@10 與另一個模型的 pass@1 進行比較,忘記 pass@k 假設某些東西已經知道哪個樣本是正確的,並將貪婪解碼 pass@1 視為與採樣的 pass@1 相同。較弱的單元測試會誇大每個 pass@k 數字,這就是為什麼 EvalPlus 向 HumanEval 添加了更多測試並導致分數下降的原因。
現實世界的實施
在 HumanEval 上評估程式碼模型的團隊對每個問題採樣 200 個完成,計算有多少個通過了測試,並使用無偏估計器報告這組樣本中的 pass@1、pass@10 和 pass@100。
顯示建議的編輯器自動完成功能應透過 pass@1 進行判斷,而產生五個候選並執行測試套件以選擇一個可行的工具的工具更接近 pass@5 情況。
一個在 75% 的試驗中取得成功的客戶支援代理在 pass@k 上看起來很強大,但如果試驗是獨立的,那麼它的 pass^4 分數(所有四次試驗都成功)只有 0.32 左右,這表明它在重複使用時會感覺多麼不可靠。
競爭性程式系統會產生許多候選程序,根據範例測試對其進行篩選,然後提交少量程序;其報告的解決率取決於允許提交的數量,這是 pass@k 式的預算。
Pass@k 指標的未來解釋
隨著模型從單一完成轉向多步驟代理,諸如 pass^k 和運行間一致性等可靠性度量與 pass@k 一起受到更多關注,因為用戶體驗的是一次嘗試,而不是多次嘗試中的最佳嘗試。基準測試作者也投資於更強大的測試套件,因為弱測試會讓不正確的程式碼通過並誇大每個指標。仔細的報告應說明 k、樣本計數、溫度以及是否使用任何選擇步驟,但實踐各不相同,因此讀者應不斷檢查這些細節,而不是假設它們。
付諸實踐
為什麼這很重要
- 成本與預算. 多年來,架構決策決定著效能和營運成本。
- 更明確的決策. 技術教育幫助團隊選擇正確的堆疊,而不僅僅是最新的堆疊。
- 品質管控. 更好的工程選擇可以減少生產中的可靠性事故。
留意
- 優化一項基準測試可以隱藏更廣泛的系統弱點。
- 基礎設施和維護成本常常被低估。
- 隨著系統變得更加複雜,安全性和可觀察性差距可能會擴大。
後續步驟
- 在實施之前定義延遲、品質和成本目標。
- 在實際負載和資料條件下進行基準測試。
- 儀器監控錯誤、漂移和使用者影響。
- 在擴展之前準備回滾和事件回應路徑。
不斷探索
常見問題
Pass@k 指標的解釋是什麼?
Pass@k 是模型的 k 個取樣嘗試中至少有一個解決問題的機率,通常透過對產生的程式碼執行隱藏單元測試來檢查。這很重要,因為程式碼和代理程式基準測試會不斷報告它,而 pass@10 或 pass@100 分數看起來比用戶從單次嘗試中獲得的分數要好得多。
pass@k 针对单个问题衡量什么?
Pass@k 是 k 次嘗試至少有一次成功的機會。基準分數是所有問題的機率的平均值。
Codex 論文中引入的基準測試 HumanEval 包含哪些內容?
HumanEval 有 164 個手寫的 Python 問題,每個問題都透過隱藏單元測試進行檢查。
為什麼Codex論文會產生n個樣本,其中n大於k?
準確地產生 k 個樣本會給出雜訊估計。使用 n 個樣本並計算 c 個正確樣本可以實現方差較小的無偏估計。
當 n 個樣本和 c 個正確時,哪個表達式是無偏 pass@k 估計器?
它是一減去隨機 k 子集僅包含錯誤樣本的機率。 C(c, k)/C(n, k) 是 pass^k 估計器,且 power-k 捷徑是有偏差的。
tau 工作台論文中定義的 pass^k 測量什麼?
Pass^k 要求每次試驗都成功,因此它衡量可靠性,這對於服務許多用戶的代理來說很重要。