概述
Snowflake 在發布資料中描述了其架構、權重和訓練預算;基準測試和成本說明應視為公司在其所述設定下的報告結果。
深入探討
Snowflake 在 2024 年四月宣布 Arctic。公司將其描述為一種 Dense-MoE 混合變壓器,總參數 480 億,約 17 億為每個 token 活躍參數,使用細粒度專家之間的 top-2 門控。Snowflake 以 Apache 2.0 授權發布基礎和指令微調檢查點,並報告訓練計算預算約 200 萬美元;這是公司的估算,並不應被視為所有模型的直接可比成本。Arctic 針對企業用例,如 SQL 生成、編碼和指令跟隨。Snowflake 還發布了 Arctic Embed 模型,用於搜尋和檢索工作流程中的文本嵌入。
現實世界的實施
透過公司資料倉儲中的簡單英文問題產生準確的 SQL 查詢
在 Snowflake 的 Cortex 服務中為企業代碼產生助理提供支持
使用 Arctic Embed 模型改進文件搜尋和檢索增強生成
在本地或私有雲中運行開放的、Apache 許可的模型,以保持敏感資料受到管理
雪花北極模型的未來
Arctic 發布說明了企業語言模型的一種方法:發布權重和訓練細節,針對 SQL 和編碼進行專門評估,並提供單獨的嵌入模型以供檢索。模型比較應識別檢查點、基準、計算假設和授權。Snowflake 關於性能和成本的說法描述了其自身的評估和披露。
付諸實踐
為什麼這很重要
- 供應商策略. 供應商路線圖會影響您的團隊接下來可以建立的功能。
- 成本與預算. 商業條款和部署選項會影響長期成本和風險。
- 風險與安全. 公司激勵措施塑造了產品預設、安全態勢和開放性。
留意
- 發佈公告可能會超過實際生產工作流程的穩定性。
- API 定價或政策轉變可能會在一夜之間打破假設。
- 單一供應商依賴性增加了鎖定和遷移成本。
後續步驟
- 使用您自己的任務和資料集評估提供者。
- 在整合之前查看隱私、安全和法律條款。
- 維護跨模型或供應商的後備計劃。
- 監控發行說明,以便路線圖的變更不會讓團隊感到意外。
不斷探索
常見問題
什麼是雪花北極模型?
Snowflake Arctic 是 Snowflake AI Research 為企業導向任務(如 SQL 生成、編碼和指令跟隨)發布的語言模型。Snowflake 在發布資料中描述了其架構、權重和訓練預算;基準測試和成本說明應視為公司在其所述設定下的報告結果。
什麼樣的公司建造了北極模型?
Snowflake以其雲端資料倉儲而聞名,它建構了Arctic,讓人工智慧更接近企業資料。
Snowflake 為 Arctic 報告了哪些架構數據?
Snowflake 報告 Arctic 擁有 480 億總參數,並使用 top-2 門控,每個 token 約激活 17 億;這些是公司報告的架構數據。
Arctic 與一般消費者聊天機器人的差別在於哪些任務重點?
Arctic 的目標是“企業智慧”,例如 SQL、程式碼和指令追蹤,而不是開放式聊天。
Snowflake 以何種授權發布 Arctic 的模型權重?
Snowflake 的發布資料指出 Arctic 模型權重以 Apache 2.0 授權發布。
Snowflake 如何描述 Arctic 的訓練計算預算?
Snowflake 報告訓練計算預算約 200 萬美元;這個公司估算取決於其會計,並不自動可跨模型比較。