概述
Sakana AI 是一家位於東京的實驗室，它將受自然啟發的方法應用於人工智慧，最引人注目的是使用演化演算法將現有的開放模式合併為新的、更好的模型。它不是從頭開始訓練，而是透過自動結合模型的優勢來「培育」模型。
Sakana AI 進化模型合併在策略、模型存取、平台決策和生態系統合作夥伴關係的背景下得到了最好的理解。
深入探討
Sakana AI 於 2023 年由 Llion Jones（《Attention Is All You Need》Transformer 論文的共同作者）和 David Ha（Google Brain 的前成員）於 2023 年創立。這個名字在日語中的意思是“魚”，反映了一種受魚群和群體啟發的哲學：許多小型的集體代理，而不是一個巨大的模型。其突破性技術「進化模型合併」使用演化搜尋來發現如何組合多個預訓練開源模型的權重和層。該演算法探索了數千種合併方案，保留在目標任務上得分較高的組合。 Sakana 利用這一點，透過合併現有模型，創造了強大的日語、日語數學和視覺模型，而成本只是訓練新模型的一小部分。該公司還生產了“人工智慧科學家”，這是一個試圖使研究本身自動化的系統。
技術洞察
模型合併混合了單獨訓練的網路的參數。 Sakana 的演化同時在兩個空間中合併：參數空間（如何逐層加權和插值每個模型的權重）和資料流空間（從哪些模型堆疊以及以什麼順序堆疊）。演化演算法提出候選配方，在基準上進行評估，然後選擇和變異最好的配方，無需基於梯度的訓練即可迭代高性能混合配方。
掌握 Sakana AI 演化模型合併
Sakana AI 是一家位於東京的實驗室，它將受自然啟發的方法應用於人工智慧，最引人注目的是使用演化演算法將現有的開放模式合併為新的、更好的模型。它不是從頭開始訓練，而是透過自動結合模型的優勢來「培育」模型。 Sakana AI 進化模型合併在策略、模型存取、平台決策和生態系統合作夥伴關係的背景下得到了最好的理解。為了建立深入的理解，請將 Sakana AI 演化模型合併為一種操作模型，而不是單一功能：定義期望的結果，澄清假設，並將系統可以可靠地執行的操作與仍需要專家判斷的操作分開。
在實踐中，使用 Sakana AI 進化模型合併的強大團隊會在提交之前評估供應商策略、路線圖可靠性和鎖定風險。他們記錄明確的成功標準，根據實際數據和工作流程進行測試，並根據觀察到的失敗模式而不是一次性基準測試勝利進行迭代。這就是理論理解轉變為跨產品、政策和營運的持久能力的地方。
供應商路線圖會影響您的團隊接下來可以建立的功能。同時，發佈公告可能會超過實際生產工作流程的穩定性。最具彈性的方法是將實驗速度與治理規則結合：運行試點、捕獲證據、發布決策日誌，並隨著模型行為、使用者期望和監管要求的發展不斷更新保障措施。
戰略影響
供應商路線圖會影響您的團隊接下來可以建立的功能。
供應商路線圖會影響您的團隊接下來可以建立的功能。在高品質部署中，這會轉化為可衡量的操作規則、所有權邊界和定期審查儀式，以便團隊可以增強信心，而不是擴大模糊性。
商業條款和部署選項會影響長期成本和風險。
商業條款和部署選項會影響長期成本和風險。在高品質部署中，這會轉化為可衡量的操作規則、所有權邊界和定期審查儀式，以便團隊可以增強信心，而不是擴大模糊性。
公司激勵措施塑造了產品預設、安全態勢和開放性。
公司激勵措施塑造了產品預設、安全態勢和開放性。在高品質部署中，這會轉化為可衡量的操作規則、所有權邊界和定期審查儀式，以便團隊可以增強信心，而不是擴大模糊性。
現實世界的實施
透過合併英語和日語開放模型而無需重新訓練，創建強大的日語語言模型
透過發展數學專業模型的組合來建構日本數學推理模型
產生一個視覺語言模型，透過跨域合併處理圖像中的日文文本
讓較小的組織從開放權重中廉價地組裝特定於任務的模型，而不是從頭開始訓練
實施模式
Sakana AI演化模式合併實踐
透過合併英語和日語開放模型而無需重新訓練，創建強大的日語語言模型。
透過合併英語和日語開放模型而無需重新訓練，創建強大的日語語言模型 當團隊預先定義品質閾值、為邊緣情況保留人工升級路徑並追蹤一段時間內的生產力提升和錯誤成本時，通常會獲得更好的結果。
Sakana AI演化模式合併實踐
透過發展數學專業模型的組合來建構日本數學推理模型。
透過不斷發展數學專業模型的組合來建立日本數學推理模型當團隊預先定義品質閾值、為邊緣情況保留人工升級路徑並隨著時間的推移追蹤生產力增益和錯誤成本時，通常會得到更好的結果。
Sakana AI演化模式合併實踐
產生一個視覺語言模型，透過跨域合併處理影像中的日文文字。
產生透過跨域合併處理影像中的日文文字的視覺語言模型 團隊在預先定義品質閾值、為邊緣情況保留人工升級路徑並隨著時間的推移追蹤生產力增益和錯誤成本時，通常會獲得更好的結果。
Sakana AI演化模式合併實踐
讓較小的組織從開放權重中廉價地組裝特定於任務的模型，而不是從頭開始訓練。
讓較小的組織從開放權重中廉價地組裝特定於任務的模型，而不是從頭開始訓練當團隊預先定義質量閾值、為邊緣情況保留人工升級路徑並隨著時間的推移跟踪生產力增益和錯誤成本時，通常會獲得更好的結果。
風險與防護欄
發佈公告可能會超過實際生產工作流程的穩定性。
API 定價或政策轉變可能會在一夜之間打破假設。
單一供應商依賴性增加了鎖定和遷移成本。
實施路線圖
使用您自己的任務和資料集評估提供者。
使用您自己的任務和資料集評估提供者。將每個步驟視為證據門：如果不符合標準，則暫停推出，縮小差距，然後再擴大使用。
在整合之前查看隱私、安全和法律條款。
在整合之前查看隱私、安全和法律條款。將每個步驟視為證據門：如果不符合標準，則暫停推出，縮小差距，然後再擴大使用。
維護跨模型或供應商的後備計劃。
維護跨模型或供應商的後備計劃。將每個步驟視為證據門：如果不符合標準，則暫停推出，縮小差距，然後再擴大使用。
監控發行說明，以便路線圖的變更不會讓團隊感到意外。
監控發行說明，以便路線圖的變更不會讓團隊感到意外。將每個步驟視為證據門：如果不符合標準，則暫停推出，縮小差距，然後再擴大使用。