Łączenie modelu ewolucyjnego Sakana AI
Sakana AI to laboratorium z siedzibą w Tokio, które stosuje w sztucznej inteligencji metody inspirowane naturą, w szczególności wykorzystując algorytmy ewolucyjne do łączenia istniejących otwartych modeli w nowe, lepsze.
Przegląd
Instead of training from scratch, it 'breeds' models by automatically combining their strengths.
Głębokie nurkowanie
Sakana AI została założona w 2023 roku przez Lliona Jonesa, współautora oryginalnej publikacji Transformer „Attention Is All You Need” oraz Davida Ha, dawniej Google Brain. Nazwa oznacza po japońsku „rybę” i odzwierciedla filozofię inspirowaną szkołami i rojami: wielu małych, zbiorowych agentów, a nie jeden gigantyczny model. Przełomowa technika Evolutionary Model Merging wykorzystuje wyszukiwanie ewolucyjne w celu odkrycia, jak połączyć wagi i warstwy wielu wstępnie wytrenowanych modeli typu open source. Algorytm bada tysiące receptur scalania, utrzymując kombinacje, które dobrze radzą sobie z docelowymi zadaniami. Sakana wykorzystał to do stworzenia wydajnych modeli matematycznych i wizyjnych w języku japońskim i japońskim, łącząc istniejące modele za niewielki ułamek kosztów szkolenia nowych. Firma wyprodukowała także system „AI Scientist”, który próbuje zautomatyzować same badania.
Wgląd techniczny
Scalanie modeli łączy parametry oddzielnie szkolonych sieci. Sakana ewoluuje, łącząc się w dwóch przestrzeniach jednocześnie: przestrzeni parametrów (jak ważyć i interpolować wagi każdego modelu, warstwa po warstwie) oraz przestrzeni przepływu danych (z których warstw, z których modeli należy układać i w jakiej kolejności). Algorytm ewolucyjny proponuje potencjalne receptury, ocenia je na podstawie testu porównawczego, a następnie wybiera i mutuje najlepsze, kierując się iteracją w stronę wysokowydajnych hybryd bez szkolenia opartego na gradiencie.
Wpływ strategiczny
Strategia dostawcy
Plany dostawców wpływają na to, jakie funkcje Twój zespół będzie mógł dalej tworzyć.
Koszt i budżet
Warunki handlowe i opcje wdrożenia wpływają na długoterminowe koszty i ryzyko.
Ryzyko i bezpieczeństwo
Zachęty firmowe kształtują wady produktów, postawę bezpieczeństwa i otwartość.
Przyszłość łączenia modeli ewolucyjnych Sakana AI
Ewolucyjne łączenie wskazuje na przyszłość, w której nowe, wydajne modele będą tanie i składane z rosnącej biblioteki otwartych modeli, demokratyzując dostęp poza laboratoriami dysponującymi ogromnymi budżetami obliczeniowymi. W połączeniu z automatycznym „AI Scientist” firmy Sakana, długoterminową wizją są systemy AI, które pomagają odkrywać własne ulepszenia. Otwarte pytania obejmują unikanie scalonych modeli, które dziedziczą błędy lub uprzedzenia, oraz to, czy ewolucyjne wyszukiwanie skaluje się do wydajności na poziomie pionierskim, zamiast specjalizować się głównie w istniejących modelach.
Implementacja w świecie rzeczywistym
Stworzenie silnego modelu języka obsługującego język japoński poprzez połączenie otwartych modeli języka angielskiego i japońskiego bez przekwalifikowania
Budowanie japońskiego modelu rozumowania matematycznego poprzez ewolucję kombinacji modeli specjalistycznych matematycznych
Tworzenie modelu języka wizyjnego, który obsługuje tekst w języku japońskim w obrazach poprzez łączenie między domenami
Umożliwianie mniejszym organizacjom taniego składania modeli dostosowanych do konkretnego zadania z otwartych ciężarów zamiast szkolenia od zera
Zagrożenia i poręcze
Ogłoszenia o wprowadzeniu na rynek mogą przekroczyć stabilność w rzeczywistych przepływach pracy.
Ceny interfejsów API lub zmiany zasad mogą z dnia na dzień złamać założenia.
Zależność od jednego dostawcy zwiększa koszty uzależnienia i migracji.
Plan wdrożenia
Oceniaj dostawców, korzystając z własnych zadań i zbiorów danych.
Przed integracją przejrzyj warunki dotyczące prywatności, bezpieczeństwa i prawa.
Utrzymuj plan awaryjny dla różnych modeli i dostawców.
Monitoruj informacje o wersji, aby zmiany w planie działania nie zaskoczyły zespołów.
Odkrywaj dalej
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Sakana AI Evolutionary Model Merging quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Następny poradnik
Łączenie modeli
Często zadawane pytania
What is Sakana AI Evolutionary Model Merging?
Sakana AI to laboratorium z siedzibą w Tokio, które stosuje w sztucznej inteligencji metody inspirowane naturą, w szczególności wykorzystując algorytmy ewolucyjne do łączenia istniejących otwartych modeli w nowe, lepsze. Zamiast szkolić od zera, „hoduje” modele, automatycznie łącząc ich mocne strony.
Co właściwie daje łączenie modeli ewolucyjnych Sakana AI?
Rozwija przepisy na łączenie wielu wstępnie wytrenowanych ciężarów i warstw otwartych modeli, zamiast trenować od nowa.
Kto jest godnym uwagi współzałożycielem Sakana AI?
Llion Jones, współautor książki „Attention Is All You Need”, wraz z Davidem Ha założył Sakanę.
Co oznacza i odzwierciedla imię „Sakana”?
Sakana oznacza rybę; firma faworyzuje wielu małych agentów zbiorowych zamiast jednego monolitycznego modelu.
Sakana ewoluuje, łącząc modele w jakich dwóch przestrzeniach?
Wyszukuje zarówno sposób ważenia/interpolacji parametrów, jak i to, które warstwy układać i w jakiej kolejności.
Oprócz łączenia modeli, jaki ambitny system wprowadził Sakana?
Sakana wypuściła „AI Scientist” – system próbujący zautomatyzować część samego procesu badawczego.