Обединяване на еволюционния модел на Sakana AI
Sakana AI е базирана в Токио лаборатория, която прилага вдъхновени от природата методи към AI, най-вече използвайки еволюционни алгоритми за обединяване на съществуващи отворени модели в нови, по-добри.
Преглед
Instead of training from scratch, it 'breeds' models by automatically combining their strengths.
Дълбоко гмуркане
Sakana AI е основана през 2023 г. от Llion Jones, съавтор на оригиналната книга „Вниманието е всичко, от което се нуждаете“ Transformer, и David Ha, бивш член на Google Brain. Името означава „риба“ на японски, отразявайки философия, вдъхновена от училища и рояци: много малки, колективни агенти, а не един гигантски модел. Неговата революционна техника, Evolutionary Model Merging, използва еволюционно търсене, за да открие как да комбинира теглата и слоевете на множество предварително обучени модели с отворен код. Алгоритъмът изследва хиляди рецепти за сливане, запазвайки комбинации, които показват добри резултати при целевите задачи. Sakana използва това, за да създаде способни японски език и японски математически и визуални модели чрез сливане на съществуващи модели, на малка част от разходите за обучение на нови. Компанията също така създаде „AI Scientist“, система, която се опитва да автоматизира самите изследвания.
Техническа информация
Обединяването на модели смесва параметрите на отделно обучени мрежи. Sakana evolves се слива в две пространства наведнъж: пространството на параметрите (как да се претеглят и интерполират теглата на всеки модел, слой по слой) и пространството на потока от данни (кои слоеве от кои модели да се подредят и в какъв ред). Еволюционен алгоритъм предлага рецепти за кандидати, оценява ги на бенчмарк и избира и мутира най-добрите, като итерира към високоефективни хибриди без обучение, базирано на градиент.
Стратегическо въздействие
Vendor strategy
Пътните карти на доставчиците влияят на това какви функции вашият екип може да изгради по-нататък.
Cost and budget
Търговските условия и опциите за внедряване влияят върху дългосрочните разходи и риск.
Risk and safety
Стимулите на компанията оформят продуктовите стандарти, безопасността и откритостта.
Бъдещето на сливането на еволюционния модел на Sakana AI
Еволюционното сливане загатва за бъдещето, в което нови способни модели се сглобяват от нарастваща библиотека от отворени модели евтино, демократизирайки достъпа отвъд лабораториите с огромни изчислителни бюджети. В комбинация с автоматизирания „AI Scientist“ на Sakana, по-дългосрочната визия е AI системи, които помагат да открият собствените си подобрения. Отворените въпроси включват избягване на обединени модели, които наследяват грешки или пристрастия, и дали еволюционното търсене се мащабира до производителност на гранично ниво, вместо основно да специализира съществуващи модели.
Внедряване в реалния свят
Създаване на силен японски езиков модел чрез сливане на английски и японски отворени модели без преквалификация
Изграждане на японски модел за разсъждение по математика чрез развиващи се комбинации от специализирани по математика модели
Създаване на модел на визуален език, който обработва японски текст в изображения чрез сливане между домейни
Позволяване на по-малките организации да сглобяват евтино модели, специфични за задачата, от открити тежести, вместо да тренират от нулата
Рискове и предпазни огради
Съобщенията за стартиране може да изпреварят стабилността в реалните производствени работни процеси.
Ценообразуването на API или промените в политиката могат да разбият предположенията за една нощ.
Зависимостта от един доставчик увеличава разходите за заключване и миграция.
Пътна карта за изпълнение
Оценявайте доставчиците, като използвате вашите собствени задачи и набори от данни.
Прегледайте поверителността, сигурността и правните условия преди интегриране.
Поддържайте резервен план за модели или доставчици.
Наблюдавайте бележките по изданието, така че промените в пътната карта да не изненадват екипите.
Продължете да изследвате
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Sakana AI Evolutionary Model Merging quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Обединяване на модели
Frequently asked questions
What is Sakana AI Evolutionary Model Merging?
Sakana AI е базирана в Токио лаборатория, която прилага вдъхновени от природата методи към AI, най-вече използвайки еволюционни алгоритми за обединяване на съществуващи отворени модели в нови, по-добри. Вместо да тренира от нулата, той „отглежда“ модели чрез автоматично комбиниране на силните им страни.
Какво всъщност прави сливането на еволюционния модел на Sakana AI?
Той развива рецепти за комбиниране на тежести и слоеве на множество предварително обучени отворени модели, вместо да тренирате наново.
Кой е забележителен съосновател на Sakana AI?
Лион Джоунс, съавтор на „Вниманието е всичко, от което се нуждаете“, съосновава Sakana с Дейвид Ха.
Какво означава и отразява името „Сакана“?
Сакана означава риба; компанията предпочита много малки колективни агенти пред един монолитен модел.
През кои две пространства се слива моделът Sakana evolvates?
Той търси както да претегля/интерполира параметри, така и кои слоеве да подрежда и в какъв ред.
Освен сливането на модели, каква амбициозна система въведе Sakana?
Sakana пусна „AI Scientist“, система, която се опитва да автоматизира части от самия изследователски процес.