Объединение эволюционных моделей Sakana AI
Sakana AI — это лаборатория в Токио, которая применяет к ИИ методы, вдохновленные природой, в первую очередь используя эволюционные алгоритмы для объединения существующих открытых моделей в новые, более совершенные.
Обзор
Instead of training from scratch, it 'breeds' models by automatically combining their strengths.
Глубокое погружение
Sakana AI была основана в 2023 году Лионом Джонсом, соавтором оригинальной статьи о Трансформере «Внимание — это все, что вам нужно», и Дэвидом Ха, ранее работавшим в Google Brain. Название в переводе с японского означает «рыба», что отражает философию, вдохновленную школами и стаями: множество маленьких коллективных агентов, а не одна гигантская модель. Его революционная технология «Эволюционное слияние моделей» использует эволюционный поиск, чтобы выяснить, как объединить веса и слои нескольких предварительно обученных моделей с открытым исходным кодом. Алгоритм исследует тысячи рецептов слияния, сохраняя комбинации, которые хорошо справляются с целевыми задачами. Сакана использовала это для создания эффективных японоязычных и японских математических и зрительных моделей путем объединения существующих моделей за небольшую часть затрат на обучение новых. Компания также выпустила AI Scientist — систему, которая пытается автоматизировать сами исследования.
Техническая информация
Слияние моделей объединяет параметры отдельно обученных сетей. Развитие Sakana объединяет сразу два пространства: пространство параметров (как взвешивать и интерполировать веса каждой модели, слой за слоем) и пространство потока данных (какие слои из каких моделей объединять и в каком порядке). Эволюционный алгоритм предлагает возможные рецепты, оценивает их по эталону, отбирает и мутирует лучшие, переходя к высокопроизводительным гибридам без обучения на основе градиента.
Стратегическое воздействие
Стратегия поставщика
Дорожные карты поставщиков влияют на то, какие функции ваша команда может создать дальше.
Стоимость и бюджет
Коммерческие условия и варианты развертывания влияют на долгосрочные затраты и риски.
Риски и безопасность
Стимулы компании влияют на невыполнение обязательств по продукту, безопасность и открытость.
Будущее слияния эволюционных моделей искусственного интеллекта Sakana
Эволюционное слияние намекает на будущее, в котором новые функциональные модели будут собираться из растущей библиотеки открытых моделей по дешевке, демократизируя доступ за пределы лабораторий с огромными вычислительными бюджетами. В сочетании с автоматизированным «ИИ-ученым» от Sakana долгосрочная концепция — это системы ИИ, которые помогают обнаруживать собственные улучшения. Открытые вопросы включают в себя необходимость избегать объединенных моделей, которые наследуют ошибки или предвзятости, а также вопрос о том, масштабируется ли эволюционный поиск до производительности передового уровня, а не в основном специализирует существующие модели.
Реальная реализация
Создание сильной языковой модели с поддержкой японского языка путем объединения открытых моделей английского и японского языков без переобучения.
Построение японской математической модели рассуждения путем развития комбинаций специализированных математических моделей.
Создание модели визуального языка, которая обрабатывает японский текст в изображениях посредством междоменного слияния.
Предоставление небольшим организациям возможности дешево собирать модели для конкретных задач на основе открытых весов вместо тренировок с нуля.
Риски и ограничения
Объявления о запуске могут опережать стабильность реальных производственных процессов.
Цены на API или изменения в политике могут в одночасье разрушить предположения.
Зависимость от одного поставщика увеличивает затраты на привязку и миграцию.
Дорожная карта реализации
Оценивайте поставщиков, используя собственные задачи и наборы данных.
Перед интеграцией ознакомьтесь с условиями конфиденциальности, безопасности и юридическими условиями.
Поддерживайте резервный план для разных моделей или поставщиков.
Отслеживайте примечания к выпуску, чтобы изменения в дорожной карте не удивили команды.
Продолжайте исследовать
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Sakana AI Evolutionary Model Merging quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Следующее руководство
Объединение моделей
Часто задаваемые вопросы
What is Sakana AI Evolutionary Model Merging?
Sakana AI — это лаборатория в Токио, которая применяет к ИИ методы, вдохновленные природой, в первую очередь используя эволюционные алгоритмы для объединения существующих открытых моделей в новые, более совершенные. Вместо обучения с нуля он «разводит» модели, автоматически объединяя их сильные стороны.
Что на самом деле дает объединение эволюционных моделей Sakana AI?
Он разрабатывает рецепты для объединения весов и слоев нескольких предварительно обученных открытых моделей вместо обучения заново.
Кто является известным сооснователем Sakana AI?
Ллайон Джонс, соавтор книги «Внимание — это все, что вам нужно», вместе с Дэвидом Ха основали компанию Sakana.
Что означает и отражает имя Сакана?
Сакана означает рыба; компания отдает предпочтение множеству мелких коллективных агентов одной монолитной модели.
В каких двух пространствах Сакана разрабатывает модели слияния?
Он ищет как взвешивать/интерполировать параметры, так и какие слои складывать и в каком порядке.
Помимо слияния моделей, какую амбициозную систему представила Сакана?
Сакана выпустила «AI Scientist» — систему, пытающуюся автоматизировать некоторые части самого исследовательского процесса.