概述
這很重要,因為它為建構模型的混亂、迭代過程帶來了秩序和可重複性。
深入探討
MLflow 由 Databricks 創建並於 2018 年發布,有助於組織實驗和模型工件。追蹤記錄運行參數、指標和工件,以便團隊可以比較結果。專案描述了可重複使用的程式碼和環境,而模型格式套件支援框架風格和元資料。模型註冊表儲存已註冊的模型及其版本。目前的註冊表工作流程使用標籤和可重新分配的別名;不建議使用諸如登台和生產之類的固定階段。團隊仍然定義自己的評估和批准流程,而不是假設註冊中心自動認證模型。 MLflow 支援多種機器學習框架,還提供用於追蹤和評估生成式 AI 應用程式的工具。
現實世界的實施
資料科學團隊使用 MLflow Tracking 記錄每次訓練運行,然後在 UI 中比較數十次運行,以選擇效能最佳的模型。
團隊在將其部署別名分配給已批准的版本之前,會評估已註冊的模型版本。
團隊以 MLflow 格式打包模型一次,然後將相同的工件部署到 REST 端點、批次作業和雲端平台。
LLM 應用程式團隊使用 MLflow 追蹤來記錄每個呼叫的提示、回應和延遲,從而調試行為不當的代理。
MLflow 和模型生命週期追蹤的未來
MLflow 正在積極擴展到生成式 AI,增加了 LLM 應用程式的追蹤、提示管理以及鍊和代理的評估工具。期望對追蹤非確定性 LLM 輸出、資料集和提示版本控制以及與更廣泛的可觀察性堆疊的整合提供更深入的支援。隨著註冊中心的成熟,它越來越多地充當治理中心,團隊在生產環境中批准、審核和回滾經典模型和生成人工智慧系統。
付諸實踐
為什麼這很重要
- 成本與預算. 多年來,架構決策決定著效能和營運成本。
- 更明確的決策. 技術教育幫助團隊選擇正確的堆疊,而不僅僅是最新的堆疊。
- 品質管控. 更好的工程選擇可以減少生產中的可靠性事故。
留意
- 優化一項基準測試可以隱藏更廣泛的系統弱點。
- 基礎設施和維護成本常常被低估。
- 隨著系統變得更加複雜,安全性和可觀察性差距可能會擴大。
後續步驟
- 在實施之前定義延遲、品質和成本目標。
- 在實際負載和資料條件下進行基準測試。
- 儀器監控錯誤、漂移和使用者影響。
- 在擴展之前準備回滾和事件回應路徑。
不斷探索
常見問題
什麼是 MLflow 和模型生命週期追蹤?
MLflow 是一個開源平台,用於管理機器學習生命週期,從實驗追蹤到模型打包和部署。這很重要,因為它為建構模型的混亂、迭代過程帶來了秩序和可重複性。
MLflow Tracking 為資料科學家解決的主要問題是什麼?
追蹤記錄每次運行的輸入和結果,以便團隊可以比較實驗並重現最佳模型。
哪個 MLflow 元件儲存註冊的模型版本及其標籤或別名?
註冊表管理模型版本和命名引用。不建議使用固定生命週期階段,改用別名和標籤的工作流程。
MLflow「與框架無關」是什麼意思?
MLflow 支援廣泛的框架,這是它成為事實上的標準的主要原因。
MLflow 模型格式的目的為何?
模型格式標準化了打包,因此可以將相同的工件加載回或提供給多個目標,而無需重寫程式碼。
哪家公司創建了 MLflow?
MLflow 由 Databricks 創建並於 2018 年開源發布。