Sakana AI 演化模型合併
Sakana AI 是一家位於東京的實驗室，它將受自然啟發的方法應用於人工智慧，最引人注目的是使用演化演算法將現有的開放模式合併為新的、更好的模型。
概述
Instead of training from scratch, it 'breeds' models by automatically combining their strengths.
深入探討
Sakana AI 於 2023 年由 Llion Jones（《Attention Is All You Need》Transformer 論文的共同作者）和 David Ha（Google Brain 的前成員）於 2023 年創立。這個名字在日語中的意思是“魚”，反映了一種受魚群和群體啟發的哲學：許多小型的集體代理，而不是一個巨大的模型。其突破性技術「進化模型合併」使用演化搜尋來發現如何組合多個預訓練開源模型的權重和層。該演算法探索了數千種合併方案，保留在目標任務上得分較高的組合。 Sakana 利用這一點，透過合併現有模型，創造了強大的日語、日語數學和視覺模型，而成本只是訓練新模型的一小部分。該公司還生產了“人工智慧科學家”，這是一個試圖使研究本身自動化的系統。
技術洞察
模型合併混合了單獨訓練的網路的參數。 Sakana 的演化同時在兩個空間中合併：參數空間（如何逐層加權和插值每個模型的權重）和資料流空間（從哪些模型堆疊以及以什麼順序堆疊）。演化演算法提出候選配方，在基準上進行評估，然後選擇和變異最好的配方，無需基於梯度的訓練即可迭代高性能混合配方。
戰略影響
供應商策略
供應商路線圖會影響您的團隊接下來可以建立的功能。
成本與預算
商業條款和部署選項會影響長期成本和風險。
風險與安全
公司激勵措施塑造了產品預設、安全態勢和開放性。
Sakana AI 演化模式融合的未來
進化合併暗示了未來，新的有能力的模型可以從不斷增長的開放模型庫中廉價地組裝出來，從而使具有巨大計算預算的實驗室之外的訪問民主化。與 Sakana 的自動化「人工智慧科學家」結合，長期願景是人工智慧系統幫助發現自身的改進。懸而未決的問題包括避免繼承錯誤或偏見的合併模型，以及進化搜尋是否能夠擴展到前沿水平的性能，而不是主要專門化現有模型。
現實世界的實施
透過合併英語和日語開放模型而無需重新訓練，創建強大的日語語言模型
透過發展數學專業模型的組合來建構日本數學推理模型
產生一個視覺語言模型，透過跨域合併處理圖像中的日文文本
讓較小的組織從開放權重中廉價地組裝特定於任務的模型，而不是從頭開始訓練
風險與防護欄
發佈公告可能會超過實際生產工作流程的穩定性。
API 定價或政策轉變可能會在一夜之間打破假設。
單一供應商依賴性增加了鎖定和遷移成本。
實施路線圖
使用您自己的任務和資料集評估提供者。
在整合之前查看隱私、安全和法律條款。
維護跨模型或供應商的後備計劃。
監控發行說明，以便路線圖的變更不會讓團隊感到意外。
不斷探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Sakana AI Evolutionary Model Merging quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常見問題
What is Sakana AI Evolutionary Model Merging?
Sakana AI 是一家位於東京的實驗室，它將受自然啟發的方法應用於人工智慧，最引人注目的是使用演化演算法將現有的開放模式合併為新的、更好的模型。它不是從頭開始訓練，而是透過自動結合模型的優勢來「培育」模型。
Sakana AI 的演化模式合併到底有什麼作用？
它發展了組合多個預訓練開放模型的權重和層的方法，而不是重新訓練。
Sakana AI 的著名共同創辦人是誰？
Llion Jones 是《Attention Is All You Need》一書的合著者，他與 David Ha 共同創立了 Sakana。
「Sakana」這個名字的意義和反映是什麼？
Sakana 的意思是魚；與單一模式相比，該公司更青睞許多小型集體代理。
Sakana 演化模型融合了哪兩個空間？
它搜尋如何加權/插值參數以及要堆疊哪些層以及以什麼順序。
除了模型合併之外，Sakana 還引入了哪些雄心勃勃的系統？
Sakana 發布了“人工智慧科學家”，這是一個試圖將部分研究過程本身自動化的系統。