概述
金絲雀部署和影子部署是將新模型或服務發佈到生產環境的兩種低風險策略。金絲雀將一小部分真實流量發送到新版本；影子會發送流量副本，但不會向用戶提供回應，因此兩者都會在全面推出之前發現問題。
金絲雀和影子部署是一個技術構建塊，會大規模影響模型品質、基礎設施成本、延遲和可靠性。
深入探討
當您發布新模型時，最安全的做法不是立即將所有人翻轉過來。金絲雀部署將一小部分即時流量（例如 1% 或 5%）路由到新版本，而其他人則保留在舊版本上。您觀察錯誤率、延遲和業務指標；如果金絲雀看起來很健康，你就會逐漸增加它的份額，如果它表現不佳，你會立即以最小的爆炸半徑回滾。影子（或「黑暗」）部署是不同的：新模型接收真正請求的鏡像副本，但其回應被丟棄，永遠不會到達使用者。這使您可以在零用戶風險的情況下根據生產現實來衡量新模型的預測、延遲和資源使用。兩者是互補的——影子驗證離線但即時的行為，金絲雀驗證對實際用戶的影響。
技術洞察
兩者都依賴負載平衡器、服務網格或功能標記層的流量路由。金絲雀按百分比分割即時流量，需要密切監控以及與指標閾值相關的自動回滾規則。影子會非同步地將每個請求複製到新模型，因此它不會為使用者路徑增加延遲，並且新模型的輸出會被記錄和比較（通常與生產模型的輸出相比較），而不是返回。由於您運行推理兩次，影子測試會花費額外的計算費用。
掌握金絲雀和影子部署
金絲雀部署和影子部署是將新模型或服務發佈到生產環境的兩種低風險策略。金絲雀將一小部分真實流量發送到新版本；影子會發送流量副本，但不會向用戶提供回應，因此兩者都會在全面推出之前發現問題。金絲雀和影子部署是一個技術構建塊，會大規模影響模型品質、基礎設施成本、延遲和可靠性。為了建立深入的理解，請將金絲雀部署和影子部署視為一種操作模型，而不是單一功能：定義所需的結果，澄清假設，並將系統可以可靠地執行的操作與仍需要專家判斷的操作分開。
在實踐中，使用金絲雀和影子部署的強大團隊可以根據可靠性和成本來優化架構、資料和基礎設施選擇。他們記錄明確的成功標準，根據實際數據和工作流程進行測試，並根據觀察到的失敗模式而不是一次性基準測試勝利進行迭代。這就是理論理解轉變為跨產品、政策和營運的持久能力的地方。
多年來，架構決策決定著效能和營運成本。同時，優化一個基準測試可以隱藏更廣泛的系統弱點。最具彈性的方法是將實驗速度與治理規則結合：運行試點、捕獲證據、發布決策日誌，並隨著模型行為、使用者期望和監管要求的發展不斷更新保障措施。
戰略影響
多年來，架構決策決定著效能和營運成本。
多年來，架構決策決定著效能和營運成本。在高品質部署中，這會轉化為可衡量的操作規則、所有權邊界和定期審查儀式，以便團隊可以增強信心，而不是擴大模糊性。
技術教育幫助團隊選擇正確的堆疊，而不僅僅是最新的堆疊。
技術教育幫助團隊選擇正確的堆疊，而不僅僅是最新的堆疊。在高品質部署中，這會轉化為可衡量的操作規則、所有權邊界和定期審查儀式，以便團隊可以增強信心，而不是擴大模糊性。
更好的工程選擇可以減少生產中的可靠性事故。
更好的工程選擇可以減少生產中的可靠性事故。在高品質部署中，這會轉化為可衡量的操作規則、所有權邊界和定期審查儀式，以便團隊可以增強信心，而不是擴大模糊性。
現實世界的實施
串流媒體服務將 2% 的用戶引導至新的推薦模式（作為金絲雀），在擴大推廣之前觀察觀看時間和錯誤率。
一家銀行在影子模式下運行詐欺模型兩週，將其警報與即時模型進行比較，而不會影響任何實際決策。
一家線上零售商推出了新的搜尋排名模型，並在點擊率低於閾值時觸發自動回滾。
人工智慧助理團隊透過將真實的使用者提示鏡像到新的法學碩士並在任何客戶看到其回應之前記錄答案品質來對新的法學碩士進行影子測試。
實施模式
金絲雀與影子部署的實踐
串流媒體服務將 2% 的用戶引導至新的推薦模式（作為金絲雀），在擴大推廣之前觀察觀看時間和錯誤率。
串流媒體服務將 2% 的用戶作為金絲雀引導至新的推薦模型，在擴大部署之前觀察觀看時間和錯誤率。當團隊預先定義品質閾值、為邊緣情況保留人工升級路徑並追蹤一段時間內的生產力增益和錯誤成本時，通常會獲得更好的結果。
金絲雀與影子部署的實踐
一家銀行在影子模式下運行詐欺模型兩週，將其警報與即時模型進行比較，而不會影響任何實際決策。
一家銀行在影子模式下運行詐欺模型兩週，將其警報與即時模型進行比較，而不影響任何實際決策。當團隊預先定義品質閾值、為邊緣情況保留人工升級路徑並追蹤一段時間內的生產力增益和錯誤成本時，通常會得到更好的結果。
金絲雀與影子部署的實踐
一家線上零售商推出了新的搜尋排名模型，並在點擊率低於閾值時觸發自動回滾。
線上零售商推出了新的搜尋排名模型，並在點擊率低於閾值時觸發自動回滾。當團隊預先定義品質閾值、為邊緣情況保留人工升級路徑並追蹤一段時間內的生產力增益和錯誤成本時，通常會獲得更好的結果。
金絲雀與影子部署的實踐
人工智慧助理團隊透過將真實的使用者提示鏡像到新的法學碩士並在任何客戶看到其回應之前記錄答案品質來對新的法學碩士進行影子測試。
人工智慧助理團隊透過向新的法學碩士鏡像真實的用戶提示並在任何客戶看到其響應之前記錄答案品質來對新的法學碩士進行影子測試。當團隊預先定義品質閾值、為邊緣情況保留人工升級路徑並隨著時間的推移追蹤生產力增益和錯誤成本時，通常會得到更好的結果。
風險與防護欄
優化一項基準測試可以隱藏更廣泛的系統弱點。
基礎設施和維護成本常常被低估。
隨著系統變得更加複雜，安全性和可觀察性差距可能會擴大。
實施路線圖
在實施之前定義延遲、品質和成本目標。
在實施之前定義延遲、品質和成本目標。將每個步驟視為證據門：如果不符合標準，則暫停推出，縮小差距，然後再擴大使用。
在實際負載和資料條件下進行基準測試。
在實際負載和資料條件下進行基準測試。將每個步驟視為證據門：如果不符合標準，則暫停推出，縮小差距，然後再擴大使用。
儀器監控錯誤、漂移和使用者影響。
儀器監控錯誤、漂移和使用者影響。將每個步驟視為證據門：如果不符合標準，則暫停推出，縮小差距，然後再擴大使用。
在擴展之前準備回滾和事件回應路徑。
在擴展之前準備回滾和事件回應路徑。將每個步驟視為證據門：如果不符合標準，則暫停推出，縮小差距，然後再擴大使用。