概述
其「演化模型合併」(Evolutionary Model Merge)研究使用自動化搜尋來找出組合現有預訓練模型的配方;這是模型組合,並非保證合併後的模型一定會優於其原始來源。
深入探討
Sakana AI was founded by Llion Jones, a co-author of the Transformer paper Attention Is All You Need, and David Ha. Sakana means fish in Japanese, reflecting the company’s interest in nature-inspired collective intelligence. Its Evolutionary Model Merge work explores automated combinations of pretrained foundation models. The method represents candidate merge recipes, evaluates resulting models on chosen tasks, and uses evolutionary optimization to refine candidates. Sakana’s publication describes parameter-space merging and layer-wise model composition experiments; findings are tied to the tested models and benchmarks. The company also develops other research systems, including The AI Scientist, a multi-agent system for automating parts of scientific research. These efforts are distinct projects. Reusing pretrained weights can avoid a full from-scratch training run, but it still requires compatible inputs, compute for search and evaluation, and careful testing for quality and inherited limitations. Sakana’s separate AI Scientist system is described in its own paper as generating research ideas, code, experiments, visualizations, and papers with a simulated review process; this is distinct from evolutionary model merging.
現實世界的實施
論文結果:透過報告的合併配方產生了具備日語能力的模型;品質取決於具體的基準測試。
論文結果:該研究評估了指定數學任務和基準測試集上的合併配方。
論文結果:此方法會搜尋參數以及資料流與層配置的選項。
示意說明:針對特定專案,將搜尋與評估資源與從頭訓練(from-scratch)的基準進行比較;這並不暗示具備普遍的成本節省效果。
Sakana AI 演化模式融合的未來
自動化模型組合有助於探索預訓練模型的各種組合。其價值取決於相容性、搜尋與評估成本,以及測得的結果是否能轉移到用於選擇配方的基準測試之外。
付諸實踐
為什麼這很重要
- 供應商策略. 供應商路線圖會影響您的團隊接下來可以建立的功能。
- 成本與預算. 商業條款和部署選項會影響長期成本和風險。
- 風險與安全. 公司激勵措施塑造了產品預設、安全態勢和開放性。
留意
- 發佈公告可能會超過實際生產工作流程的穩定性。
- API 定價或政策轉變可能會在一夜之間打破假設。
- 單一供應商依賴性增加了鎖定和遷移成本。
後續步驟
- 使用您自己的任務和資料集評估提供者。
- 在整合之前查看隱私、安全和法律條款。
- 維護跨模型或供應商的後備計劃。
- 監控發行說明,以便路線圖的變更不會讓團隊感到意外。
不斷探索
常見問題
什麼是 Sakana AI 演化模型合併?
Sakana AI 是一家總部位於東京的 AI 公司,致力於探索受自然啟發的方法,包含演化搜尋與群體智慧。其「演化模型合併」(Evolutionary Model Merge)研究使用自動化搜尋來找出組合現有預訓練模型的配方;這是模型組合,並非保證合併後的模型一定會優於其原始來源。
Sakana AI 的演化模式合併到底有什麼作用?
它發展了組合多個預訓練開放模型的權重和層的方法,而不是重新訓練。
Sakana AI 的著名共同創辦人是誰?
Llion Jones 是《Attention Is All You Need》一書的合著者,他與 David Ha 共同創立了 Sakana。
「Sakana」這個名字的意義和反映是什麼?
Sakana 的意思是魚;與單一模式相比,該公司更青睞許多小型集體代理。
Sakana 演化模型融合了哪兩個空間?
它搜尋如何加權/插值參數以及要堆疊哪些層以及以什麼順序。
在演化模型合併專案中,重複使用預訓練權重可以避免什麼?
重複使用預訓練權重可以避免完整的從頭(from-scratch)基礎模型訓練行程,但合併搜尋與評估仍然需要資源,且總成本取決於任務本身。