概述
隱藏的耦合和脆弱的介面使得微小的變更充滿風險,因此團隊需要在整個系統中明確的所有權、測試、監控和依賴關係管理。
深入探討
機器學習系統中的技術債包括維護捷徑、隱藏假設和複雜依賴關係的未來成本。 Sculley 及其同事的經典論文認為,除了普通的程式碼品質問題外,機器學習系統還可能因資料依賴性、回饋循環、未聲明的消費者和邊界侵蝕而產生債務。模型只是系統的一部分,還包括資料收集、特徵、訓練、評估、部署和監控。數據依賴性可能不穩定或記錄不完整。某個功能可能會在上游更改含義,而無需更改模型存儲庫中的程式碼。管道可以默默地依賴緩慢、稀疏或由另一個團隊管理的資料來源。監控和模式契約使這些依賴關係可見。當多個未追蹤的下游系統使用某個功能或預測時,就會出現未聲明的消費者,使更新有風險。當模型輸出影響稍後用於訓練的資料時,就會出現回饋循環。排名模型選擇使用者看到的內容;這些曝光的點擊次數就會成為標籤。下一個模型可能會強化現有的偏好或曝光模式。糾纏意味著組件的行為相互依賴,因此更改共享特徵或模型可能會以非局部方式影響多個輸出。當組件之間的職責模糊並且變化意外傳播時,就會發生邊界侵蝕。減債工作正在進行中。映射資料和模型依賴關係,定義所有者和介面、版本功能、測試整合合約、監控輸入品質和模型結果,並淘汰未使用的元件。可重複的訓練和清晰的工件譜系使回滾成為可能。避免加入不會降低實際風險的複雜抽象。模型可能具有強大的離線指標,而周圍系統仍然脆弱。將維護成本作為模型生命週期決策的一部分進行審查,並在規劃遷移時包括回饋效果和隱藏的消費者。
現實世界的實施
模型使用的功能也會被多個下游服務所使用。更改其定義以改進一個模型會默默地改變其他地方的行為,說明未聲明的消費者和耦合。
預測會影響哪些用戶收到報價,以及這些用戶產生下一個訓練範例。反饋循環將未來的數據轉向模型已經選擇的數據。
兩個模型共享預處理管道和公共特徵儲存。架構變更可能會影響兩者,因此在推出之前需要進行相依性和相容性檢查。
組織會保留老化模型,因為沒有人知道哪些儀表板、服務或決策取決於其輸出。依賴關係圖和退休計畫可以降低變更成本。
機器學習系統中隱藏技術債的未來
團隊可以在更改共享介面之前透過映射資料、功能和預測消費者來減少隱藏的機器學習債務。圍繞高影響力的依賴項添加模式合約、所有權、沿襲和整合測試。定期識別未使用的型號,並透過分階段退役計畫將其刪除。檢查模型驅動的決策是否會影響未來的訓練資料以及評估是否會考慮到該選擇。更好的可觀察性可以使互動可見,但實踐必須跟上不斷變化的外部系統。管理債務是模型生命週期工作的一部分,而不是一次清理。
付諸實踐
為什麼這很重要
- 成本與預算. 多年來,架構決策決定著效能和營運成本。
- 更明確的決策. 技術教育幫助團隊選擇正確的堆疊,而不僅僅是最新的堆疊。
- 品質管控. 更好的工程選擇可以減少生產中的可靠性事故。
留意
- 優化一項基準測試可以隱藏更廣泛的系統弱點。
- 基礎設施和維護成本常常被低估。
- 隨著系統變得更加複雜,安全性和可觀察性差距可能會擴大。
後續步驟
- 在實施之前定義延遲、品質和成本目標。
- 在實際負載和資料條件下進行基準測試。
- 儀器監控錯誤、漂移和使用者影響。
- 在擴展之前準備回滾和事件回應路徑。
不斷探索
常見問題
什麼是機器學習系統中的隱藏技術債?
機器學習系統可能會累積超出普通程式碼複雜性的技術債務,因為模型依賴不斷變化的資料、特徵、管道和回饋循環。隱藏的耦合和脆弱的介面使得微小的變更充滿風險,因此團隊需要在整個系統中明確的所有權、測試、監控和依賴關係管理。
哪個下游依賴項是未聲明的消費者?
未追蹤的下游使用使得共享輸出的變更難以安全評估。
模型如何在排名中創建反饋循環?
暴露決策會影響後來收集的觀察結果,進而影響未來的訓練資料。
機器學習系統中的糾纏描述了什麼?
糾纏的組件使得很難在不影響其他部件的情況下更改一個部件。
當多個模型共享管道時,為什麼功能架構變更會存在風險?
共享依賴關係可能會影響多個系統,包括不明顯的消費者。
模式契約和所有權可以幫助揭示什麼?
合約和所有者澄清預期的輸入以及由誰管理依賴關係。