概述
這很重要,因為小的措辭編輯或提供者模型更新可能會悄悄地破壞用戶和下游系統所依賴的輸出。
深入探討
提示包含邏輯:決定應用程式執行操作的指令、約束、範例和輸出格式。將它們視為隨意的文字字串會導致未追蹤的編輯和生產中的意外。將它們視為程式碼意味著版本控制、審查、自動化測試和受控發布。需要版本控制的不僅僅是提示措辭。输出取决于完整配置:系统提示、模板及其变量、少量示例、工具或函数模式、模型标识符、采样参数(例如温度和最大标记)以及注入文档时的检索设置。改变任何一个都可以改变行为,因此团队将它们一起版本化,通常通过内容哈希来标识,并将它们存储在 git 或提示注册表中。回归测试需要一个评估数据集,通常称为黄金集:代表性的真实输入、已知的边缘案例以及过去的生产故障转化为测试案例。评分者的范围从严格到模糊:精确匹配、JSON 模式验证、正则表达式、基于代码的检查、LLM 法官根据评分标准评分以及定期对样本进行人工审核。該套件在每次更改時自動運行,並將結果與最後接受的基線進行比較。模型變更與即時編輯一樣有風險。隨著時間的推移,提供程式別名(例如通用最新型號名稱)可能會指向新版本,而舊快照將被棄用。在切換之前固定一個過時的快照並重新運行套件會將無聲的漂移變成深思熟慮的決定。一些誤解會造成麻煩。有些手動抽查會漏掉罕見的故障。溫度 0 會降低隨機性,但無法保證運作期間的輸出相同。法學碩士法官分數越高不一定越好,因為法官有偏見,例如偏好更長的答案。由於輸出各不相同,因此好的套件使用閾值和重複樣本,而不是要求精確的字串相等。 Promptfoo 等開源工具以及商業評估平台支援這些工作流程,但 CI 中的簡單腳本也可以運作。
現實世界的實施
支援機器人團隊將提示作為範本檔案保存在 git 中;每個拉取請求都會觸發一個 CI 作業,該作業運行 300 個已儲存的客戶問題,並在正確策略答案的份額低於當前基線時阻止合併。
发票提取管道固定了过时的模型快照;在转移到更新的快照之前,团队在两者上运行其黄金集,并逐个字段检查 JSON 输出中的差异。
產品經理編輯提示音說明;回歸套件顯示了更友好的回复,但更多答案缺少必需的免責聲明,因此在發布之前修改了更改。
团队会记录每个生产请求的提示版本 ID,因此当投诉激增时,他们可以将问题与特定部署联系起来,并在几分钟内回滚。
即時版本控制和回歸測試的未來
自動化評估正在成為建立 LLM 應用程式的常規部分,就像單元測試已成為軟體的常規部分一樣。可能的方向包括生产监控和测试集之间更紧密的联系,因此真正的故障会自动流入套件,以及对法学硕士法官进行更多审查,其可靠性因任务而异。模型棄用計劃將繼續強制遷移,這使得值得信賴的回歸套件隨著時間的推移變得更有價值。所有這些都不能消除對高風險輸出進行人工審查的需要。
付諸實踐
為什麼這很重要
- 成本與預算. 多年來,架構決策決定著效能和營運成本。
- 更明確的決策. 技術教育幫助團隊選擇正確的堆疊,而不僅僅是最新的堆疊。
- 品質管控. 更好的工程選擇可以減少生產中的可靠性事故。
留意
- 優化一項基準測試可以隱藏更廣泛的系統弱點。
- 基礎設施和維護成本常常被低估。
- 隨著系統變得更加複雜,安全性和可觀察性差距可能會擴大。
後續步驟
- 在實施之前定義延遲、品質和成本目標。
- 在實際負載和資料條件下進行基準測試。
- 儀器監控錯誤、漂移和使用者影響。
- 在擴展之前準備回滾和事件回應路徑。
不斷探索
常見問題
什么是即时版本控制和回归测试?
提示版本控制和回归测试意味着将每个提示存储为版本化工件,并在提示、模型或周围代码发生更改时自动重新运行评估套件。這很重要,因為小的措辭編輯或提供者模型更新可能會悄悄地破壞用戶和下游系統所依賴的輸出。
哪一組項目應作為一個提示配置一起進行版本控制?
輸出取決於整個配置,因此更改任何部分都可以改變行為。
為什麼要固定過時的模型快照而不是通用的最新別名?
隨著時間的推移,別名可能會指向新版本,導致無聲漂移。固定将升级转变为经过测试的决策。
指南对温度 0 有何说明?
輸出在溫度 0 時仍然可能變化,因此測試不應依賴精確相等。
回归套件应如何处理不确定性输出?
由於輸出各不相同,套件會將通過率與基線進行比較,並且可能會進行多次採樣。
黃金組新測試案例的強大來源是什麼?
將真實的故障轉換為測試可確保在再次出現相同的錯誤時捕獲該錯誤。