概述
它將請求與檢索、模型呼叫、工具和最終結果連接起來。目的是研究真實行為,而不將產生的解釋視為內部計算的可靠痕跡。
重點摘要
- 連結指標、追蹤和事件。
- 衡量任務結果以及正常運作時間。
- 最小化並保護記錄的內容。
深入探討
使用互補訊號。指標顯示延遲、錯誤率和資源使用等模式。追蹤連線請求的各個階段。日誌描述有助於解釋故障或決策的事件。穩定的請求和版本標識符使這些訊號在一起更有用。盡可能新增任務等級的測量。技術上成功的模型呼叫仍然可能傳回不受支援的資訊或無法完成請求的操作。追蹤證據覆蓋範圍、驗證失敗、升級和經過驗證的結果以及運輸健康狀況。保護遙測中的敏感內容。記錄每個提示和回應可以建立一個新的私人資料儲存。收集診斷目的所需的最少信息,應用訪問和保留控制,並在滿足相同需求的情況下優先選擇經過編輯或匯總的信息。使警報具有可操作性。確定所有者、相關閾值、診斷背景和恢復過程。避免一頁頁的吵雜事件永遠不會導致做出決定。測試預期訊號中是否出現故意誘發的故障,並且操作員可以追蹤受影響的版本。
04工作範例
將症狀與依賴性聯繫起來
想像一下,使用者報告答案緩慢,而模型生成時間保持不變。
請求追蹤顯示,索引更改後文件檢索時間從 100 毫秒增加到 2 秒。
調查這種依賴性並用新的痕跡確認恢復,而不是在沒有證據的情況下更換模型。
它顯示了什麼
本發明的計時證明了連結測量的價值。
現實世界的實施
透過檢索和模型生成來追蹤答案,以識別緩慢階段。
將驗證錯誤與特定提示或模型版本相關聯。
付諸實踐
為什麼這很重要
- 成本與預算. 多年來,架構決策決定著效能和營運成本。
- 更明確的決策. 技術教育幫助團隊選擇正確的堆疊,而不僅僅是最新的堆疊。
- 品質管控. 更好的工程選擇可以減少生產中的可靠性事故。
留意
- 優化一項基準測試可以隱藏更廣泛的系統弱點。
- 基礎設施和維護成本常常被低估。
- 隨著系統變得更加複雜,安全性和可觀察性差距可能會擴大。
後續步驟
- 在實施之前定義延遲、品質和成本目標。
- 在實際負載和資料條件下進行基準測試。
- 儀器監控錯誤、漂移和使用者影響。
- 在擴展之前準備回滾和事件回應路徑。
資料來源與延伸閱讀
- OpenTelemetry可觀察性訊號
不斷探索
常見問題
我應該記錄每個提示以提高可觀察性嗎?
不是自動的。確定診斷需求和隱私影響,然後使用適當的最小化、存取和保留控制。