Samenvoeging van evolutionair modellen van Sakana AI
Sakana AI is een in Tokio gevestigd laboratorium dat op de natuur geïnspireerde methoden toepast op AI, waarbij met name evolutionaire algoritmen worden gebruikt om bestaande open modellen samen te voegen tot nieuwe, betere.
Overzicht
Instead of training from scratch, it 'breeds' models by automatically combining their strengths.
Diepe duik
Sakana AI werd in 2023 opgericht door Llion Jones, een co-auteur van het originele 'Attention Is All You Need' Transformer-papier, en David Ha, voorheen van Google Brain. De naam betekent 'vis' in het Japans en weerspiegelt een filosofie die is geïnspireerd door scholen en zwermen: veel kleine, collectieve agenten in plaats van één gigantisch model. De baanbrekende techniek, Evolutionary Model Merging, maakt gebruik van evolutionair zoeken om te ontdekken hoe de gewichten en lagen van meerdere vooraf getrainde open-sourcemodellen kunnen worden gecombineerd. Het algoritme onderzoekt duizenden samenvoegrecepten en houdt combinaties bij die goed scoren op doeltaken. Sakana gebruikte dit om capabele Japanse en Japanse wiskunde- en visiemodellen te creëren door bestaande modellen samen te voegen, tegen een klein deel van de kosten voor het trainen van nieuwe. Het bedrijf produceerde ook de 'AI Scientist', een systeem dat onderzoek zelf probeert te automatiseren.
Technisch inzicht
Het samenvoegen van modellen combineert de parameters van afzonderlijk getrainde netwerken. Sakana evolueert in twee ruimtes tegelijk: de parameterruimte (hoe de gewichten van elk model laag voor laag moeten worden gewogen en geïnterpoleerd) en de datastroomruimte (welke lagen van welke modellen moeten worden gestapeld en in welke volgorde). Een evolutionair algoritme stelt kandidaat-recepten voor, evalueert ze op basis van een benchmark, en selecteert en muteert de beste, en itereert in de richting van goed presterende hybriden zonder op gradiënt gebaseerde training.
Strategische impact
Vendor strategy
Roadmaps van leveranciers beïnvloeden welke functies uw team vervolgens kan bouwen.
Cost and budget
Commerciële voorwaarden en implementatieopties zijn van invloed op de kosten en risico's op de lange termijn.
Risk and safety
Bedrijfsprikkels bepalen productgebreken, veiligheidshouding en openheid.
De toekomst van het samenvoegen van evolutionaire modellen van Sakana AI
Evolutionaire samenvoeging duidt op een toekomst waarin nieuwe capabele modellen op goedkope wijze worden samengesteld uit een groeiende bibliotheek van open modellen, waardoor de toegang tot buiten laboratoria met enorme rekenbudgetten wordt gedemocratiseerd. Gecombineerd met Sakana's geautomatiseerde 'AI Scientist' is de visie op de langere termijn AI-systemen die helpen hun eigen verbeteringen te ontdekken. Open vragen zijn onder meer het vermijden van samengevoegde modellen die bugs of vooroordelen overerven, en of evolutionaire zoekacties zich kunnen opschalen naar prestaties op grensniveau in plaats van zich hoofdzakelijk te specialiseren in bestaande modellen.
Implementatie in de echte wereld
Het creëren van een sterk Japans taalmodel door Engelse en Japanse open modellen samen te voegen zonder omscholing
Een Japans wiskundig redeneermodel bouwen door combinaties van in wiskunde gespecialiseerde modellen te ontwikkelen
Het produceren van een visietaalmodel dat Japanse tekst in afbeeldingen verwerkt via domeinoverschrijdende samenvoeging
Kleinere organisaties goedkoop taakspecifieke modellen laten samenstellen uit open gewichten in plaats van helemaal opnieuw te trainen
Risico's en vangrails
Lanceringsaankondigingen kunnen de stabiliteit in echte productieworkflows overtreffen.
API-prijzen of beleidswijzigingen kunnen van de ene op de andere dag de aannames doorbreken.
De afhankelijkheid van één leverancier verhoogt de lock-in- en migratiekosten.
Implementatie routekaart
Evalueer providers met behulp van uw eigen taken en datasets.
Controleer de privacy-, beveiligings- en juridische voorwaarden vóór de integratie.
Onderhoud een noodplan voor alle modellen of leveranciers.
Houd de release-opmerkingen in de gaten, zodat wijzigingen in de routekaart teams niet verrassen.
Blijf verkennen
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Sakana AI Evolutionary Model Merging quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Model samenvoegen
Frequently asked questions
What is Sakana AI Evolutionary Model Merging?
Sakana AI is een in Tokio gevestigd laboratorium dat op de natuur geïnspireerde methoden toepast op AI, waarbij met name evolutionaire algoritmen worden gebruikt om bestaande open modellen samen te voegen tot nieuwe, betere. In plaats van helemaal opnieuw te trainen, 'fokt' het modellen door hun sterke punten automatisch te combineren.
Wat doet het samenvoegen van het evolutionaire model van Sakana AI eigenlijk?
Het ontwikkelt recepten voor het combineren van de gewichten en lagen van meerdere voorgetrainde open modellen, in plaats van opnieuw te trainen.
Wie is een opmerkelijke mede-oprichter van Sakana AI?
Llion Jones, co-auteur van 'Attention Is All You Need', richtte Sakana samen met David Ha op.
Wat betekent en weerspiegelt de naam 'Sakana'?
Sakana betekent vis; het bedrijf geeft de voorkeur aan veel kleine collectieve agenten boven één monolithisch model.
Sakana ontwikkelt modelfusies over welke twee ruimtes?
Het zoekt zowel hoe parameters moeten worden gewogen/geïnterpoleerd als welke lagen moeten worden gestapeld en in welke volgorde.
Welk ambitieus systeem heeft Sakana, afgezien van het samenvoegen van modellen, geïntroduceerd?
Sakana heeft de 'AI Scientist' uitgebracht, een systeem dat probeert delen van het onderzoeksproces zelf te automatiseren.