概述
不同的模型有不同的功能和術語。確定特定的模型和部署方法,而不是假設整個目錄都有一個授權或操作設定檔。
重點摘要
- 使用特定於模型的文件。
- 閱讀實際的發布條款。
- 比較完整的部署職責。
深入探討
從目前模型目錄和發布文件開始。檢查支援的輸入和輸出類型、工具功能、上下文限制和預期用途。模型系列名稱不足以重現結果或確定部署要求。託管存取和本地操作產生不同的職責。託管 API 處理一些基礎設施,但有帳戶限制和服務條款。運行可下載的權重需要相容的軟體、硬體、安全性和維護。比較完整的工作流程而不僅僅是模型存取。閱讀每個版本的實際許可和使用條件。可供下載並不意味著每個模型都授予相同的權利。如果使用改編或量化版本,請保留其與基礎版本的關係並評估該確切的工件。測試代表性任務和失敗案例,包括格式、證據使用、語言覆蓋範圍和工具錯誤。記錄版本和設置,並查看棄用或遷移通知。模型選擇應與應用程式的測量要求保持聯繫,而不是廣泛聲稱某個提供者是最好的。
04工作範例
比較部署職責
- 選項A
想像一下,一個團隊在託管端點和本機服務檢查點之間進行選擇。
- 選項B
列出每個選項的基礎設施、延遲、資料處理、更新和評估責任。
測試
在代表性負載下進行測試,並比較每個有用的已完成任務的成本,包括運行本地服務所需的工作。
它顯示了什麼
建置的場景使部署權衡變得明確,而無需推薦購買。
現實世界的實施
將託管模型與相同任務標題下的可下載替代模型進行比較。
驗證所選檢查點的許可證和相容性。
付諸實踐
為什麼這很重要
- 供應商策略. 供應商路線圖會影響您的團隊接下來可以建立的功能。
- 成本與預算. 商業條款和部署選項會影響長期成本和風險。
- 風險與安全. 公司激勵措施塑造了產品預設、安全態勢和開放性。
留意
- 發佈公告可能會超過實際生產工作流程的穩定性。
- API 定價或政策轉變可能會在一夜之間打破假設。
- 單一供應商依賴性增加了鎖定和遷移成本。
後續步驟
- 使用您自己的任務和資料集評估提供者。
- 在整合之前查看隱私、安全和法律條款。
- 維護跨模型或供應商的後備計劃。
- 監控發行說明,以便路線圖的變更不會讓團隊感到意外。
資料來源與延伸閱讀
- Mistral AIMistral型號目錄
不斷探索
常見問題
所有 Mistral 型號是否共享一個授權?
不要這樣認為。檢查您打算使用的特定型號和發行版附帶的條款。