概述
這很重要,因為對提示、模型或檢索的變更可以改善一種行為,同時破壞另一種行為。如果沒有固定的測試集,團隊最終只能透過一些精心挑選的範例來判斷變更。
深入探討
從實際使用開始。日誌、支援票、搜尋查詢和使用者訪談顯示了人們實際詢問的內容,包括發明範例所遺漏的混亂措辭。在啟動之前,請領域專家編寫輸入。您可以新增法學碩士產生的綜合案例,只要有人對其進行審查並刪除不切實際或重複的項目即可。接下來,定義每種情況的正確意義。有些任務只有一個正確答案,例如分類、提取或事實查找。對於這些,儲存一個黃金答案,可以精確比較或在光歸一化後進行比較。對於開放式任務,請編寫特定的、可檢查的標準的標題,例如「提及退款截止日期」或「不推薦競爭對手」。像「有幫助」這樣的模糊標準會導致評分不一致,無論評分者是個人還是評審模型。然後有目的地覆蓋實際輸入的範圍。按意圖、難度、語言和使用者類型標記案例,並檢查是否代表了重要的群體。新增邊緣情況和對抗性輸入: - 不明確的問題 - 缺少資訊的請求 - 非常長的輸入 - 應拒絕的超出範圍的請求 - 提示注入嘗試 保留由過去的失敗組成的回歸切片。根據其必須支援的決策調整集合的大小。數十個精心挑選的案例可以及早發現大問題。可靠地檢測微小差異需要更多時間。對於 100 個通過/失敗案例,通過率接近 80%,在 95% 的置信度下,誤差範圍大致為正負 8 個百分點。兩點的改進與該大小的雜訊無法區分。報告每個切片的結果,而不僅僅是總體平均值。一個常見的錯誤是將資料集視為已完成。產品和使用者發生變化,因此請從新日誌中刷新。保留一個你永遠不會調整的保留部分,這樣你的提示就不會過度適合測試。
現實世界的實施
支援團隊匯出 300 個刪除了個人資料的真實票證,為每個票證標記正確的解決方案,並根據它們對每個新的提示版本進行評分。
對於許多措辭正確的會議總結者,團隊會編寫一個標題:涵蓋三個關鍵決策,不提出未經支持的主張,保持在 150 個字以內。
該團隊添加了邊緣情況:空輸入、西班牙語問題、包含提示注入嘗試的文檔以及助理應拒絕的超出範圍的請求。
當使用者在生產中報告錯誤的答案時,該案例將進入包含正確答案的資料集,因此從那時起修復程序將保持測試狀態。
建構 LLM 評估資料集的未來
評估工具已經迅速成熟。開源框架和託管平台現在可以管理資料集、運行評分器並追蹤一段時間內的結果。合成資料產生可能會不斷改進,這使得罕見案例的覆蓋成本變得更便宜。它無法取代真實的使用者輸入作為重要事項的錨點。隨著應用程式變得更加代理,評估集越來越多地包括根據最終結果和沿途採取的步驟進行評分的多步驟任務。核心規則變化緩慢:明確定義成功,涵蓋真實的輸入,使用足夠的案例來信任數字,並定期從生產中刷新集合。
付諸實踐
為什麼這很重要
- 成本與預算. 多年來,架構決策決定著效能和營運成本。
- 更明確的決策. 技術教育幫助團隊選擇正確的堆疊,而不僅僅是最新的堆疊。
- 品質管控. 更好的工程選擇可以減少生產中的可靠性事故。
留意
- 優化一項基準測試可以隱藏更廣泛的系統弱點。
- 基礎設施和維護成本常常被低估。
- 隨著系統變得更加複雜,安全性和可觀察性差距可能會擴大。
後續步驟
- 在實施之前定義延遲、品質和成本目標。
- 在實際負載和資料條件下進行基準測試。
- 儀器監控錯誤、漂移和使用者影響。
- 在擴展之前準備回滾和事件回應路徑。
不斷探索
常見問題
什麼是建立 LLM 評估資料集?
LLM 評估資料集是一組精心策劃的實際輸入,每個輸入都配有黃金答案、參考事實或評分標準,您可以根據這些資料運行應用程式來衡量品質並捕獲回歸。這很重要,因為對提示、模型或檢索的變更可以改善一種行為,同時破壞另一種行為。如果沒有固定的測試集,團隊最終只能透過一些精心挑選的範例來判斷變更。
該指南推薦什麼作為評估案例的最佳起始來源?
真實的用法捕捉了人們實際詢問的內容,包括混亂的措辭。綜合案例是經過審查的補充,而不是替代品。
什麼時候一個標題比單一的黃金答案更適合?
摘要等開放式輸出無法完全匹配。具體的、可檢查的標準讓評分者能夠一致地對其進行評判。
下列哪一項是寫出良好的評分標準?
一個好的標準是具體的、可檢查的。像「有幫助」這樣的模糊標準會導致人們和評判模型的評分不一致。
有 100 個通過/失敗案例,通過率接近 80%,指引對誤差幅度有何規定?
在 95% 的置信度下,此大小的差異約為 8 個點。如果沒有更多的案例,版本之間的微小差異是無法信任的。
回歸切片的目的是什麼?
將每個已修復的故障添加到資料集中意味著以後的變更無法悄悄地重新引入相同的錯誤。