Sakana AI evolúciós modell-egyesítés
A Sakana AI egy tokiói laboratórium, amely a természet által ihletett módszereket alkalmazza az AI-ban, leginkább evolúciós algoritmusokat használva a meglévő nyílt modellek új, jobb modellekké való egyesítésére.
Áttekintés
Ahelyett, hogy nulláról edzenek, automatikusan kombinálja a modelleket az erősségeikkel.
Mély merülés
A Sakana AI-t 2023-ban alapította Llion Jones, az eredeti „Attention Is All You Need” Transformer-papír társszerzője és David Ha, a Google Brain korábbi tagja. A név japánul „halat” jelent, egy iskolák és rajok által ihletett filozófiát tükrözve: sok kicsi, kollektív ügynök, nem pedig egy óriási modell. Áttörést jelentő technikája, az Evolutionary Model Merging evolúciós keresést használ annak felfedezésére, hogyan lehet kombinálni több előre betanított nyílt forráskódú modell súlyát és rétegeit. Az algoritmus több ezer egyesítési receptet tár fel, olyan kombinációkat tartva meg, amelyek jól teljesítenek a célfeladatokon. A Sakana ezt felhasználta alkalmas japán és japán matematikai és látási modellek létrehozására a meglévő modellek egyesítésével, az újak betanítási költségeinek csekély töredékéért. A vállalat elkészítette az „AI Scientist” rendszert is, amely magát a kutatást próbálja automatizálni.
Technikai betekintés
A modellösszevonás a külön betanított hálózatok paramétereit ötvözi. A Sakana evolves egyszerre két térben egyesül: a paramétertérben (az egyes modellek súlyozásának súlyozása és interpolálása rétegenként) és az adatfolyam-térben (mely rétegből melyik modellt kell halmozni és milyen sorrendben). Egy evolúciós algoritmus javaslatot tesz a jelölt receptekre, kiértékeli azokat egy benchmark alapján, és kiválasztja és mutálja a legjobbakat, a gradiens alapú képzés nélküli, nagy teljesítményű hibridek irányába iterálva.
Stratégiai hatás
Szállítói stratégia
A szállítói ütemterv befolyásolja, hogy csapata milyen funkciókat építhet fel legközelebb.
Költség és költségvetés
A kereskedelmi feltételek és a telepítési lehetőségek befolyásolják a hosszú távú költségeket és kockázatokat.
Kockázat és biztonság
A vállalati ösztönzők alakítják a termék alapértelmezett beállításait, a biztonsági testtartást és a nyitottságot.
A Sakana AI evolúciós modell-egyesítésének jövője
Az evolúciós összeolvadás egy olyan jövőre utal, ahol az új, képességekkel rendelkező modelleket a nyílt modellek növekvő könyvtárából állítják össze olcsón, demokratizálva a hozzáférést a hatalmas számítási költségvetésű laboratóriumokon túl. A Sakana automatizált „AI-tudósával” kombinálva a hosszabb távú elképzelés az AI-rendszerek, amelyek segítenek felfedezni saját fejlesztéseiket. A nyitott kérdések közé tartozik az összevont modellek elkerülése, amelyek hibákat vagy torzításokat örökölnek, és hogy az evolúciós keresés a határ szintű teljesítményre skálázza-e, ahelyett, hogy a meglévő modellekre specializálódna.
Valós megvalósítás
Erős japán nyelvi modell létrehozása az angol és a japán nyílt modellek átképzés nélküli összevonásával
Japán matematikai gondolkodási modell felépítése matematikai modellek kombinációinak fejlesztésével
Létrehozása nyelvi modell, amely kezeli a japán szöveget képekben domainek közötti egyesítéssel
Lehetővé teszi, hogy a kisebb szervezetek olcsón, nyitott súlyokból állítsanak össze feladat-specifikus modelleket, ahelyett, hogy a nulláról edzenek
Kockázatok és védőkorlátok
Az indítási bejelentések meghaladhatják a valódi termelési munkafolyamatok stabilitását.
Az API-árazás vagy az irányelvváltások egyik napról a másikra megdönthetik a feltételezéseket.
Az egyszállítótól való függőség növeli a bezárási és migrációs költségeket.
Végrehajtási ütemterv
Értékelje a szolgáltatókat saját feladatai és adatkészletei segítségével.
Az integráció előtt tekintse át az adatvédelmi, biztonsági és jogi feltételeket.
Tartsa fenn a tartalék tervet a modellek vagy szállítók között.
Figyelje a kiadási megjegyzéseket, hogy az ütemterv változásai ne lepjék meg a csapatokat.
Folytassa a felfedezést
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Sakana AI Evolutionary Model Merging quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Következő útmutató
Modell összevonás
Gyakran ismételt kérdések
Mi az a Sakana AI evolúciós modell összeolvadása?
A Sakana AI egy tokiói laboratórium, amely a természet által ihletett módszereket alkalmazza az AI-ban, leginkább evolúciós algoritmusokat használva a meglévő nyílt modellek új, jobb modellekké való egyesítésére. Ahelyett, hogy a nulláról edzeni, modelleket „tenyészt” azáltal, hogy automatikusan egyesíti az erősségeiket.
Mit csinál valójában a Sakana AI evolúciós modell-egyesítése?
Recepteket fejleszt több előre betanított nyitott modell súlyának és rétegének kombinálására, az új edzés helyett.
Ki a Sakana AI nevezetes társalapítója?
Llion Jones, az 'Attention Is All You Need' társszerzője David Ha-val közösen alapította a Sakanát.
Mit jelent és mit jelent a „Sakana” név?
Sakana halat jelent; a vállalat sok kisebb kollektív ügynököt részesít előnyben, mint egy monolitikus modellt.
Melyik két térben egyesül a Sakana modellje?
Megkeresi a paraméterek súlyozásának/interpolálásának módját, valamint azt, hogy mely rétegeket és milyen sorrendben kell egymásra rakni.
A modellösszevonás mellett milyen ambiciózus rendszert vezetett be a Sakana?
A Sakana kiadta az AI Scientist nevű rendszert, amely magát a kutatási folyamat egyes részeit próbálja automatizálni.