概述
分數描述了這些條件下的表現。它不是智力的通用衡量標準,也不能保證得分最高的系統最適合特定應用。
重點摘要
- 閱讀任務和評分規則。
- 比較等效設定。
- 將應用程式評估與公共基準一起使用。
深入探討
在排名之前閱讀任務定義。多項選擇知識測驗、編碼練習和人類偏好比較可以衡量不同的結果。即使稱為準確性的兩個分數也可以使用不同的答案規則或子集。檢查模型版本、提示、工具、檢索權限、嘗試次數和評估日期。允許多次試驗的系統或外部搜尋工具未在與單一獨立反應相同的條件下進行測試。重現結果時記錄完整的設定。當測試材料或接近變體在開發過程中可用時,資料集污染可能會削弱基準。針對公開測試的重複最佳化也縮小了比較的獨立性。新鮮的、保留的應用程式範例有助於評估報告的功能是否轉移。尋找不確定性和分組結果。小樣本上的微小差異可能沒有意義。將成本和延遲與任務成功進行比較,並檢查失敗範例。基準作為具有明確規定邊界的特定能力聲明的證據是最有用的。
04工作範例
解釋微小的分數差異
在建構的 100 個問題測試中,系統 A 正確回答了 81 個問題,系統 B 正確回答了 83 個問題。
列出哪些問題不同,並在記錄的生成設定下重複。僅兩分差距並不能建立可靠的優勢。
在選擇要部署的系統之前,先比較故障嚴重程度和營運成本。
它顯示了什麼
這些發明的結果顯示了排名必須伴隨的內容;它們不是對真實模型的主張。
現實世界的實施
使用相同的提示和工具存取權限重現已發布的測試。
新增代表預期工作流程的私有評估集。
付諸實踐
為什麼這很重要
- 成本與預算. 多年來,架構決策決定著效能和營運成本。
- 更明確的決策. 技術教育幫助團隊選擇正確的堆疊,而不僅僅是最新的堆疊。
- 品質管控. 更好的工程選擇可以減少生產中的可靠性事故。
留意
- 優化一項基準測試可以隱藏更廣泛的系統弱點。
- 基礎設施和維護成本常常被低估。
- 隨著系統變得更加複雜,安全性和可觀察性差距可能會擴大。
後續步驟
- 在實施之前定義延遲、品質和成本目標。
- 在實際負載和資料條件下進行基準測試。
- 儀器監控錯誤、漂移和使用者影響。
- 在擴展之前準備回滾和事件回應路徑。
資料來源與延伸閱讀
- Liang and colleagues語言模型的整體評估
不斷探索
常見問題
贏得基準測試是否意味著模型在所有方面都是最好的?
不會。結果適用於基準測試的任務、範例、設定和評分規則。