概述
相關維度可以包括事實準確度、指令遵循、檢索使用、穩健性、成本和回應時間。單一偏好分數很少能涵蓋所有這些因素。
重點摘要
- 評估完整的應用程式配置。
- 驗證評分方法本身。
- 包括棄權和對抗的情況。
深入探討
評估使用者實際收到的系統。具有檢索、工具和特定提示的模型的行為可能與單獨測試的相同模型不同。使用評估記錄保留這些設置,包括對工具呼叫和重試的限制。將確定性檢查與需要解釋的判斷結合。精確比對適用於某些提取的欄位或可執行測試,而摘要可能需要用於證據和遺漏的標題。編寫標題,以便不同的審稿人可以一致地應用它,並檢查分歧。模型可以協助評分,但其判斷是另一個可能有偏差的測量過程。根據獨立審查的範例進行檢查,在適當的情況下改變答案順序,並檢查它是否更注重冗長或風格而不是正確性。不要將一種模型批准另一種模型視為獨立的證據。在相關的情況下,在檢索到的資料中包括無法回答的問題、衝突的來源、長上下文案例和惡意指令。按任務和錯誤嚴重性報告結果。將失敗的範例保留為迴歸案例,同時刷新保留的材料,這樣評估就不會成為記憶的目標。
04工作範例
將幫助與事實支持分開
為模特兒提供一項發明政策,僅規定 14 天內可退款。
詢問運費是否退還。自信的回答是不支持的,因為政策沒有說。
即使發明聽起來更有幫助,但識別缺失資訊的答案比發明的政策更高。
它顯示了什麼
這個構建的案例評估證據處理而不是流暢性。
現實世界的實施
根據所提供的段落是否支持每項主張,對文件答案進行評分。
透過有意義的行為測試和審查來驗證產生的程式碼。
付諸實踐
為什麼這很重要
- 速度與規模. 語言工作流程可以在不犧牲一致性的情況下更快地移動。
- 交通與覆蓋範圍. 它擴展了跨語言和溝通方式的訪問。
- 更明確的決策. 團隊可以花更多時間進行判斷,而自動化則可以處理重複。
留意
- 幻覺的事實可以悄悄地進入報告、支持流程或研究成果。
- 及時的敏感性可能會在類似的請求中產生不一致的結果。
- 如果存取控制薄弱,敏感文字資料可能會暴露。
後續步驟
- 在推出之前定義輸出格式、語氣和品質標準。
- 當準確性很重要時,請使用可信任來源進行地面回應。
- 為高風險輸出保留人工審查檢查點。
- 追蹤故障模式並定期重新訓練提示或工作流程。
資料來源與延伸閱讀
- Yen and colleaguesHELMET:評估長上下文語言模型
不斷探索
常見問題
LLM法官可以取代所有人工審查嗎?
它可以幫助擴展一些檢查,但其可靠性需要對標題和領域進行驗證。後果性或模稜兩可的案件可能需要獨立審查。