Sloučení evolučních modelů Sakana AI
Sakana AI je laboratoř se sídlem v Tokiu, která na AI aplikuje metody inspirované přírodou, zejména pomocí evolučních algoritmů ke sloučení stávajících otevřených modelů do nových, lepších.
Přehled
Instead of training from scratch, it 'breeds' models by automatically combining their strengths.
Hluboký ponor
Sakana AI byla založena v roce 2023 Llionem Jonesem, spoluautorem původního článku Transformer „Attention Is All You Need“ a Davidem Ha, dříve z Google Brain. Název znamená v japonštině „ryba“, což odráží filozofii inspirovanou školami a hejny: mnoho malých, kolektivních agentů spíše než jeden obří model. Jeho průlomová technika, Evolutionary Model Merging, využívá evoluční vyhledávání k objevu, jak kombinovat váhy a vrstvy několika předem připravených open-source modelů. Algoritmus zkoumá tisíce slučovacích receptů a udržuje kombinace, které dosahují dobrých výsledků v cílových úkolech. Sakana toho využil k vytvoření schopných japonských a japonských matematických a zrakových modelů sloučením existujících modelů za nepatrný zlomek nákladů na školení nových. Společnost také vyrobila „AI Scientist“, systém, který se pokouší automatizovat samotný výzkum.
Technický přehled
Slučování modelů spojuje parametry samostatně trénovaných sítí. Sakana vyvíjí sloučení ve dvou prostorech najednou: v parametrovém prostoru (jak vážit a interpolovat váhy každého modelu, vrstvu po vrstvě) a v prostoru toku dat (které vrstvy z kterých modelů skládat a v jakém pořadí). Evoluční algoritmus navrhuje receptury kandidátů, vyhodnocuje je na základě benchmarku a vybírá a mutuje nejlepší, iteruje směrem k vysoce výkonným hybridům bez tréninku založeného na gradientu.
Strategický dopad
Strategie dodavatelů
Plány dodavatelů ovlivňují, jaké funkce může váš tým dále vybudovat.
Cena a rozpočet
Komerční podmínky a možnosti nasazení ovlivňují dlouhodobé náklady a rizika.
Riziko a bezpečnost
Firemní pobídky utvářejí výchozí produkty, bezpečný postoj a otevřenost.
Budoucnost sloučení evolučních modelů Sakana AI
Evoluční slučování naznačuje budoucnost, kde se budou levně sestavovat nové schopné modely z rostoucí knihovny otevřených modelů, což demokratizuje přístup mimo laboratoře s obrovskými výpočetními rozpočty. V kombinaci s automatizovaným „AI Scientist“ společnosti Sakana jsou dlouhodobější vizí systémy umělé inteligence, které pomáhají objevovat jejich vlastní vylepšení. Mezi otevřené otázky patří vyhýbat se sloučeným modelům, které zdědí chyby nebo zkreslení, a zda se evoluční vyhledávání škáluje na výkon na hraniční úrovni, spíše než aby se specializovalo především stávající modely.
Real-World Implementace
Vytvoření silného jazykového modelu s japonštinou sloučením anglických a japonských otevřených modelů bez přeškolování
Vytváření modelu japonského matematického uvažování vyvíjejícími se kombinacemi modelů specializovaných na matematiku
Vytváření modelu vizuálního jazyka, který zpracovává japonský text v obrázcích prostřednictvím slučování mezi doménami
Umožněte menším organizacím levně sestavovat modely specifické pro konkrétní úkoly z otevřených závaží namísto tréninku od nuly
Rizika a zábradlí
Oznámení o uvedení mohou předstihnout stabilitu v reálných výrobních pracovních postupech.
Změny cen API nebo politik mohou přes noc narušit předpoklady.
Závislost na jediném dodavateli zvyšuje náklady na uzamčení a migraci.
Plán implementace
Vyhodnoťte poskytovatele pomocí vlastních úkolů a datových sad.
Před integrací si přečtěte podmínky ochrany soukromí, zabezpečení a právní podmínky.
Udržujte záložní plán napříč modely nebo dodavateli.
Sledujte poznámky k vydání, aby změny plánu nepřekvapily týmy.
Pokračujte v objevování
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Sakana AI Evolutionary Model Merging quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Další průvodce
Sloučení modelů
Často kladené otázky
What is Sakana AI Evolutionary Model Merging?
Sakana AI je laboratoř se sídlem v Tokiu, která na AI aplikuje metody inspirované přírodou, zejména pomocí evolučních algoritmů ke sloučení stávajících otevřených modelů do nových, lepších. Místo toho, aby trénoval od nuly, „množí“ modelky tím, že automaticky kombinuje jejich přednosti.
Co vlastně dělá sloučení evolučního modelu Sakana AI?
Vyvíjí recepty na kombinování více předtrénovaných závaží a vrstev otevřených modelů, spíše než na nové cvičení.
Kdo je významným spoluzakladatelem Sakana AI?
Llion Jones, spoluautor knihy 'Attention Is All You Need', spoluzaložil Sakanu s Davidem Ha.
Co znamená a odráží jméno „Sakana“?
Sakana znamená ryba; společnost upřednostňuje mnoho malých kolektivních zástupců před jedním monolitickým modelem.
Sakana rozvíjí model sloučení přes které dva prostory?
Hledá jak vážit/interpolovat parametry a které vrstvy skládat a v jakém pořadí.
Jaký ambiciózní systém kromě slučování modelů Sakana zavedla?
Sakana vydala 'AI Scientist', systém, který se pokouší automatizovat části samotného výzkumného procesu.