概述
這很重要,因為模型品質、價格和可用性變化很快。對一個提供者的 API、提示怪癖和嵌入進行硬編碼的團隊在需要遷移時面臨著巨大的遷移成本。
深入探討
鎖定是分層發生的,單獨的網關只能刪除第一個。第一層是 API 形態:請求格式、流、錯誤代碼以及工具或函數的宣告方式。許多提供者和開源伺服器現在提供 OpenAI 相容端點。 LiteLLM 和 OpenRouter 等程式庫和服務,以及 Amazon Bedrock、Google Vertex AI 和 Microsoft 的 Azure AI 平台等雲端平台,將許多模型放在一個介面後面。第二層是提示。針對一個模型的習慣(例如其格式偏好、拒絕模式或如何遵循系統指令)進行調整的提示通常在另一個模型上表現較差。這就是為什麼共享 API 不能保證可移植性。第三層是資料工件。不同模型的嵌入存在於不同的向量空間中,無法進行比較,因此更改嵌入模型意味著重新嵌入整個語料庫。微調模型通常無法從託管提供者匯出。第四層是平台特徵。託管對話線程、內建向量儲存、代理框架和專有文件處理可以節省精力,但它們將您的應用程式邏輯與一個供應商聯繫起來。第五是商業:承諾支出合約和批量折扣。確保切換安全的工具是評估套件:一組具有代表性的實際任務,具有預期結果或評分規則,您可以針對任何候選模型運行它。如果沒有一個,切換就只是猜測。有了它,您還可以按難度分配任務,將簡單的工作分配給更便宜的型號。一個常見的誤解是您應該避免所有鎖定。特定於提供者的功能值得使用。目的是了解您已經承擔了哪些依賴項、撤銷這些依賴項需要花費多少成本,並使該成本保持在可接受的範圍內。
現實世界的實施
一家軟體公司透過使用 OpenAI 相容介面的內部網關來發送所有 LLM 呼叫。當一個提供者發生中斷時,流量會透過單一配置變更即可故障轉移到第二個提供者。
一家法律科技新創公司保留了包含 300 個真實合約問題的評估集以及分級答案。在決定是否切換之前,它會針對每個新模型版本執行該集合。
電子商務團隊將簡單的產品標籤發送到小型、廉價的模型,並為複雜的客戶投訴保留前沿模型。這可以在不更改應用程式程式碼的情況下降低成本。
知識庫搜尋團隊將原始文件及其分塊程式碼與向量一起儲存。切換嵌入模型意味著執行預定的重新嵌入作業,而不會遺失資料。
透過多模型策略避免人工智慧供應商鎖定的未來
應用程式和模型之間的介面正在融合。 OpenAI 相容的 API 被廣泛複製,並且用於連接工具的模型上下文協定等開放協定減少了一些整合鎖定。模型行為的差異可能仍然存在,因此在切換時仍需要及時調整和評估。開放權重模型為組織提供了另一種減少依賴性的方法,但代價是運行自己的基礎設施。隨著代理平台增加記憶體、工作流程和託管工具,可能會出現新形式的平台鎖定。投資自己的評估數據和日誌的團隊擁有最大的選擇自由。
付諸實踐
為什麼這很重要
- 成本與預算. 多年來,架構決策決定著效能和營運成本。
- 更明確的決策. 技術教育幫助團隊選擇正確的堆疊,而不僅僅是最新的堆疊。
- 品質管控. 更好的工程選擇可以減少生產中的可靠性事故。
留意
- 優化一項基準測試可以隱藏更廣泛的系統弱點。
- 基礎設施和維護成本常常被低估。
- 隨著系統變得更加複雜,安全性和可觀察性差距可能會擴大。
後續步驟
- 在實施之前定義延遲、品質和成本目標。
- 在實際負載和資料條件下進行基準測試。
- 儀器監控錯誤、漂移和使用者影響。
- 在擴展之前準備回滾和事件回應路徑。
不斷探索
常見問題
什麼是透過多模型策略避免人工智慧供應商鎖定?
避免人工智慧供應商鎖定意味著設計你的人工智慧系統,以便你可以切換模型供應商,或一次使用多個模型供應商,而無需重寫應用程式。這很重要,因為模型品質、價格和可用性變化很快。對一個提供者的 API、提示怪癖和嵌入進行硬編碼的團隊在需要遷移時面臨著巨大的遷移成本。
為什麼切換到新的嵌入模型通常意味著重新嵌入整個語料庫?
每个嵌入模型都将文本映射到自己的向量空间中,因此使用模型 B 嵌入的查询无法与使用模型 A 嵌入的文档进行有意义的比较。
多模型策略中評估套件的主要目的是什麼?
評估套件是具有預期結果或評分規則的代表性任務集。它將模型從猜測轉變為經過深思熟慮的決策。
為什麼將每個模型放在一個統一的 API 後面並不能保證可移植性?
共用請求格式消除了 API 形狀層的鎖定,但模型行為仍然不同,因此提示和輸出需要重新測試。
將簡單的標記任務發送到小模型,將複雜的投訴發送到前沿模型是一個什麼例子?
路由將每個任務發送到能夠很好處理該任務的最便宜的模型。評估套件可以讓您確認小型模型是否足夠。
每個向量應該儲存什麼以使未來的重新索引變得簡單?
記錄哪個模型會產生每個向量,並保留來源文字和分塊參數,使您可以使用新模型可靠地重建索引。