Sakana AI Evolutionary Model Merging
Sakana AI er et Tokyo-basert laboratorium som bruker naturinspirerte metoder på AI, spesielt ved å bruke evolusjonære algoritmer for å slå sammen eksisterende åpne modeller til nye, bedre.
Oversikt
Instead of training from scratch, it 'breeds' models by automatically combining their strengths.
Dypdykk
Sakana AI ble grunnlagt i 2023 av Llion Jones, en medforfatter av det originale 'Attention Is All You Need' Transformer-papiret, og David Ha, tidligere fra Google Brain. Navnet betyr "fisk" på japansk, og reflekterer en filosofi inspirert av skoler og svermer: mange små, kollektive agenter i stedet for en gigantisk modell. Dens banebrytende teknikk, Evolutionary Model Merging, bruker evolusjonært søk for å finne ut hvordan man kombinerer vektene og lagene til flere forhåndstrente åpen kildekode-modeller. Algoritmen utforsker tusenvis av sammenslåingsoppskrifter, og beholder kombinasjoner som scorer godt på måloppgaver. Sakana brukte dette til å lage dyktige japanskspråklige og japanske matematikk- og visjonsmodeller ved å slå sammen eksisterende modeller, til en liten brøkdel av kostnadene ved å trene nye. Selskapet produserte også 'AI Scientist', et system som prøver å automatisere forskningen selv.
Teknisk innsikt
Modellsammenslåing blander parametrene til separat trente nettverk. Sakana utvikler seg smelter sammen i to rom samtidig: parameterrommet (hvordan vekter og interpoleres hver modells vekter, lag for lag) og dataflytrommet (hvilke lag fra hvilke modeller som skal stables og i hvilken rekkefølge). En evolusjonsalgoritme foreslår kandidatoppskrifter, evaluerer dem på en benchmark, og velger og muterer de beste, og itererer mot høyytende hybrider uten gradientbasert trening.
Strategisk innvirkning
Vendor strategy
Leverandørveikart påvirker hvilke funksjoner teamet ditt kan bygge videre.
Cost and budget
Kommersielle vilkår og distribusjonsalternativer påvirker langsiktige kostnader og risiko.
Risiko og sikkerhet
Selskapets insentiver former produktstandarder, sikkerhetsstilling og åpenhet.
Fremtiden til Sakana AI Evolutionary Model Merging
Evolusjonær sammenslåing antyder en fremtid der nye dyktige modeller settes sammen fra et voksende bibliotek av åpne modeller på en billig måte, og demokratiserer tilgang utover laboratorier med enorme databudsjetter. Kombinert med Sakanas automatiserte «AI Scientist» er den langsiktige visjonen AI-systemer som hjelper til med å oppdage sine egne forbedringer. Åpne spørsmål inkluderer å unngå sammenslåtte modeller som arver feil eller skjevheter, og om evolusjonære søk skalerer til grensenivå i stedet for hovedsakelig å spesialisere eksisterende modeller.
Real-World Implementering
Å skape en sterk japansk-kompetent språkmodell ved å slå sammen engelske og japanske åpne modeller uten omskolering
Bygge en japansk matematisk resonneringsmodell ved å utvikle kombinasjoner av matematikkspesialiserte modeller
Produserer en visjonsspråklig modell som håndterer japansk tekst i bilder via sammenslåing på tvers av domener
Å la mindre organisasjoner sette sammen oppgavespesifikke modeller billig fra åpne vekter i stedet for å trene fra bunnen av
Risikoer og rekkverk
Lanseringskunngjøringer kan overgå stabiliteten i ekte produksjonsarbeidsflyter.
API-priser eller endringer i retningslinjene kan bryte antagelser over natten.
Avhengighet av én leverandør øker kostnadene for innlåsing og migrering.
Veikart for implementering
Evaluer leverandører ved å bruke dine egne oppgaver og datasett.
Se gjennom personvern, sikkerhet og juridiske vilkår før integrering.
Oppretthold en reserveplan på tvers av modeller eller leverandører.
Overvåk utgivelsesnotater slik at endringer i veikart ikke overrasker teamene.
Fortsett å utforske
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Sakana AI Evolutionary Model Merging quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Neste guide
Modellsammenslåing
Ofte stilte spørsmål
What is Sakana AI Evolutionary Model Merging?
Sakana AI er et Tokyo-basert laboratorium som bruker naturinspirerte metoder på AI, spesielt ved å bruke evolusjonære algoritmer for å slå sammen eksisterende åpne modeller til nye, bedre. I stedet for å trene fra bunnen av, "avler" den modeller ved automatisk å kombinere styrkene deres.
Hva gjør egentlig Sakana AIs evolusjonsmodellsammenslåing?
Den utvikler oppskrifter for å kombinere flere forhåndstrente åpne modellers vekter og lag, i stedet for å trene på nytt.
Hvem er en bemerkelsesverdig medgründer av Sakana AI?
Llion Jones, en medforfatter av «Attention Is All You Need», grunnla Sakana sammen med David Ha.
Hva betyr og reflekterer navnet 'Sakana'?
Sakana betyr fisk; selskapet favoriserer mange små kollektive agenter fremfor én monolitisk modell.
Sakana utvikler modell fusjonerer over hvilke to rom?
Den søker både hvordan man vekter/interpolerer parametere og hvilke lag som skal stables og i hvilken rekkefølge.
Foruten modellsammenslåing, hvilket ambisiøst system introduserte Sakana?
Sakana ga ut 'AI Scientist', et system som forsøker å automatisere deler av selve forskningsprosessen.