概述
團隊將候選人的行為與基準進行比較,檢查故障,並在系統變更時保留重要的案例。
深入探討
評估驅動開發借用了傳統軟體中測試驅動開發的名稱和結構:開發人員不是編寫生產程式碼然後希望它能運作,而是先編寫失敗的測試,然後編寫程式碼直到測試通過。應用於 LLM 系統,這意味著在更改提示、交換模型或調整檢索管道之前編寫評估測試案例 - 代表性輸入與判斷正確性的方法配對,無論是精確匹配檢查、基於規則的斷言還是 LLM 作為判斷準則。然後,評估將作為衡量提議的更改是否實際上是改進的標準,而不是依賴開發人員嘗試幾個示例後的主觀印象。這對於 LLM 系統尤其重要,因為及時的更改具有眾所周知的非局部效應:重寫一條指令來修復一種故障模式可能會默默地破壞另一種故障模式,並且如果沒有廣泛的評估套件,則回歸可能不會出現,直到用戶在生產中遇到它。在實踐中,評估套件傾向於有機增長 - 一種常見的模式是,每個報告的現實世界故障都會成為一個新的永久評估案例,因此,如果在覆蓋的測試條件下返回,則可以捕獲再現的回歸。一個常見的誤解是,評估驅動的開發從第一天起就需要一個大型的正式測試套件;大多數團隊從幾個涵蓋其最高價值或最容易失敗的場景的案例開始,然後從那裡擴展。另一個誤解是,僅評估分數就足夠了,無需定期進行人工審查,因為標題或判斷模型本身可能會與使用者實際認為正確的內容不一致。
現實世界的實施
在重寫客戶支援提示以使其更加簡潔之前,團隊首先編寫 40 個評估,涵蓋常見的票證類型和邊緣情況,然後在部署之前確認新提示仍然通過所有這些評估。
一個團隊將其匯總功能從一個模型切換到另一個模型,首先針對這兩個模型運行現有的評估套件,發現新模型儘管速度更快,但在財務文件的事實準確性方面得分較低。
一位工程師在系統提示中添加一條新指令(「始終引用來源」),編寫了一個專門檢查引用存在的評估,因為僅靠手動抽查就會遺漏偶爾被刪除的情況。
建立內部編碼助理的團隊維護著一個不斷增長的評估套件,其中用戶報告的每個錯誤輸出都成為一個新的永久測試案例,因此特定的故障永遠不會悄無聲息地重新出現。
評估驅動開發的未來
隨著 LLM 功能在生產軟體中所佔的比例越來越大,評估驅動程式的開發可能會像傳統程式碼的單元測試一樣成為常規,評估套件會簽入同一儲存庫,並在同一拉取請求中進行及時更改的審查。使每個案例的回歸差異更易於閱讀(而不僅僅是總分)的工具是持續改進的自然領域。主要的開放挑戰仍然是隨著產品的發展,保持評估套件代表實際使用情況,因為停止反映實際用戶需求的套件會產生錯誤的信心。
付諸實踐
為什麼這很重要
- 成本與預算. 多年來,架構決策決定著效能和營運成本。
- 更明確的決策. 技術教育幫助團隊選擇正確的堆疊,而不僅僅是最新的堆疊。
- 品質管控. 更好的工程選擇可以減少生產中的可靠性事故。
留意
- 優化一項基準測試可以隱藏更廣泛的系統弱點。
- 基礎設施和維護成本常常被低估。
- 隨著系統變得更加複雜,安全性和可觀察性差距可能會擴大。
後續步驟
- 在實施之前定義延遲、品質和成本目標。
- 在實際負載和資料條件下進行基準測試。
- 儀器監控錯誤、漂移和使用者影響。
- 在擴展之前準備回滾和事件回應路徑。
不斷探索
常見問題
什麼是評估驅動開發?
評估驅動的開發使用代表性測試來指導對提示、模型和應用程式程式碼的變更。團隊將候選人的行為與基準進行比較,檢查故障,並在系統變更時保留重要的案例。
評估驅動開發借鑒了哪些已建立的軟體實踐的結構?
評估驅動開發透過在進行更改之前編寫測試 (eval) 來反映測試驅動開發。
為什麼深入研究說如果沒有評估套件,即時更改可能會有風險?
提示編輯的非局部影響是評估套件重要的關鍵原因,因為手動抽查可能會錯過新的回歸。
在模型切換範例中,評估套件揭示了更新、更快的模型的哪些內容?
針對這兩個模型運行現有的評估套件,發現了僅靠速度就可以隱藏的準確性權衡。
團隊應該如何處理其評估套件中已確認的現實失敗?
已確認的相關故障可以成為回歸測試,但評估集應與目前的產品需求保持一致。
為什麼在比較基準和候選提示時,總通過率可能會產生誤導?
每個案例的細分可以捕捉到總體平均值可能掩蓋的回歸。