概述
ML 管道受益於分階段作業和明確的升級門,而訓練硬體、資料存取、機密和工件保留則需要經過深思熟慮的配置。
深入探討
GitHub 操作工作流程是指定觸發器、作業、執行程序和步驟的 YAML 定義。它們可以按推播、拉取請求、計劃或手動調度運行。作業在運行器上執行,並且可以依賴早期作業,從而啟用程式碼檢查、資料驗證、培訓、評估和門控發布等管道。機器學習團隊應該將快速確定性檢查與昂貴或特定於硬體的階段分開,以便日常程式碼審查保持回應。典型的拉取請求作業可以在小型裝置上安裝相依性、執行單元測試並驗證功能架構。後續作業可能會在受控資料集上進行訓練,產生模型工件並產生評估報告。升級應取決於明確的標準並保留評估的準確工件摘要。 GPU 訓練可能需要自架或專門的運行器,這會引入容量、修補和隔離責任。容器可以使軟體依賴關係保持一致,但不會自動提供硬體或資料存取。工作流程通常使用快取來減少相依性安裝,並使用工件在作業之間傳遞輸出或保留報表。快取不應被視為可信任工件,它們的金鑰應包含相關的依賴項輸入。秘密的範圍應狹窄;來自分叉的拉取請求可能具有受限的秘密存取權。在支援的情況下,OIDC 可以將工作流程身分交換為短期雲端憑證,從而減少對長期金鑰的依賴。根據組織策略限制令牌權限並將第三方操作固定到已審核的版本或不可變參考。可靠的機器學習工作流程會記錄程式碼提交、環境、資料版本、訓練配置和模型摘要。當作業下載或在資料集上進行訓練時,資料許可、隱私和成本控制也很重要。避免自動發布每個經過訓練的模型;在風險允許的情況下需要驗證和批准。工作流程日誌和工件需要保留設定來平衡可審核性、成本和敏感資料暴露。操作提供編排,但不能保證培訓可重複、驗證合理或發布安全。這些屬性取決於管道的輸入和閘。
現實世界的實施
拉取請求工作流程在允許合併之前執行快速單元測試、linting 和小型資料架構檢查,同時將完整的 GPU 訓練留給單獨的執行程式或計畫作業。
訓練工作流程記錄來源提交、相依性鎖定檔案和模型工件摘要,然後上傳評估指標和候選工件以供審核。
發布作業取決於成功的評估,並且在將模型發佈到註冊表之前需要獲得授權環境的批准。
團隊透過 OIDC(在支援的情況下)使用短期雲端憑證,而不是將長期雲端密鑰儲存為儲存庫機密。
GitHub ML 管道行动的未来
ML 團隊可以透過發佈受控作業的評估報告和工件摘要,然後僅提升通過的候選者,將 CI 發展為可追蹤的發布路徑。將 CPU 檢查與 GPU 工作負載分開,並管理執行器容量和修補。在支援的情況下,使用最低權限、受保護的環境和短期憑證。定期檢查操作依賴性、快取行為和工件保留。精心設計的工作流程可以提高一致性,而統計審查和負責任的模型治理仍然是人力和流程的責任。團隊可以在事件審查期間使用保留的報告,並比較候選人隨時間的運作。
付諸實踐
為什麼這很重要
- 成本與預算. 多年來,架構決策決定著效能和營運成本。
- 更明確的決策. 技術教育幫助團隊選擇正確的堆疊,而不僅僅是最新的堆疊。
- 品質管控. 更好的工程選擇可以減少生產中的可靠性事故。
留意
- 優化一項基準測試可以隱藏更廣泛的系統弱點。
- 基礎設施和維護成本常常被低估。
- 隨著系統變得更加複雜,安全性和可觀察性差距可能會擴大。
後續步驟
- 在實施之前定義延遲、品質和成本目標。
- 在實際負載和資料條件下進行基準測試。
- 儀器監控錯誤、漂移和使用者影響。
- 在擴展之前準備回滾和事件回應路徑。
不斷探索
常見問題
什麼是 ML 管路的 GitHub 操作?
GitHub Actions 可自動執行儲存庫工作流程,例如回應事件的測試、資料檢查、模型評估和發布步驟。 ML 管道受益於分階段作業和明確的升級門,而訓練硬體、資料存取、機密和工件保留則需要經過深思熟慮的配置。
GitHub 操作工作流程定義什麼?
工作流程 YAML 協調事件觸發器以及在設定的執行器上執行的作業和步驟。
為什麼將快速拉取請求檢查與完整的 GPU 訓練分開?
不同的階段有不同的成本和硬體需求,因此分離可以提高回應能力和資源利用率。
評估報告與之後推廣的工件應該如何連結?
不可變的摘要有助於驗證部署的模型是否是通過評估的確切工件。
為什麼要避免將儲存庫機密暴露給不受信任的拉取請求程式碼?
在作業中執行的不受信任的程式碼可能會洩漏或濫用該作業可用的憑證。
與雲端提供者配置後,OIDC 可以提供什麼?
OIDC 聯合可以將可信任工作流程身分交換為臨時雲端憑證。