ДалееСледующее руководство
Объединение моделей
Технический
РУКОВОДСТВО ПО КОМПАНИЯМ
Sakana AI — токийская компания в области искусственного интеллекта, которая исследует подходы, вдохновленные природой, включая эволюционный поиск и коллективный разум.
Прослушайте это руководствоОзвучено ИИ · ~2 min
Исследование Evolutionary Model Merge использует автоматический поиск для нахождения рецептов комбинирования существующих предварительно обученных моделей; это композиция моделей, а не общая гарантия того, что объединённые модели превзойдут свои источники.
Sakana AI was founded by Llion Jones, a co-author of the Transformer paper Attention Is All You Need, and David Ha. Sakana means fish in Japanese, reflecting the company’s interest in nature-inspired collective intelligence. Its Evolutionary Model Merge work explores automated combinations of pretrained foundation models. The method represents candidate merge recipes, evaluates resulting models on chosen tasks, and uses evolutionary optimization to refine candidates. Sakana’s publication describes parameter-space merging and layer-wise model composition experiments; findings are tied to the tested models and benchmarks. The company also develops other research systems, including The AI Scientist, a multi-agent system for automating parts of scientific research. These efforts are distinct projects. Reusing pretrained weights can avoid a full from-scratch training run, but it still requires compatible inputs, compute for search and evaluation, and careful testing for quality and inherited limitations. Sakana’s separate AI Scientist system is described in its own paper as generating research ideas, code, experiments, visualizations, and papers with a simulated review process; this is distinct from evolutionary model merging.
Результат статьи: модель, способная работать с японским языком, получена с помощью описанного рецепта слияния; качество зависит от конкретного бенчмарка.
Результат статьи: исследование оценивает рецепты слияния на названных математических задачах и наборах бенчмарков.
Результат статьи: метод ищет варианты выбора параметров и организации потоков данных/слоёв.
Иллюстративно: сравните ресурсы поиска и оценки с базовым подходом «с нуля» для конкретного проекта; универсального экономического эффекта не подразумевается.
Автоматическая композиция моделей может помочь исследовать комбинации предварительно обученных моделей. Ее ценность зависит от совместимости, стоимости поиска и оценки, а также от того, переносятся ли измеренные результаты за пределы бенчмарков, использованных для выбора рецепта.
Бесплатная рассылка
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
Sakana AI – компания из Токио, исследующая подходы, вдохновленные природой, включая эволюционный поиск и коллективный интеллект. Исследование по объединению эволюционных моделей использует автоматический поиск рецептов для комбинирования существующих предварительно обученных моделей; это композиция моделей, а не гарантия, что объединённые модели превзойдут свои исходные версии.
Он разрабатывает рецепты для объединения весов и слоев нескольких предварительно обученных открытых моделей вместо обучения заново.
Ллайон Джонс, соавтор книги «Внимание — это все, что вам нужно», вместе с Дэвидом Ха основали компанию Sakana.
Сакана означает рыба; компания отдает предпочтение множеству мелких коллективных агентов одной монолитной модели.
Он ищет как взвешивать/интерполировать параметры, так и какие слои складывать и в каком порядке.
Повторное использование предварительно обученных весов позволяет избежать полного обучения модели с нуля, но поиск и оценка объединения всё равно требуют ресурсов, и общая стоимость зависит от задачи.
Продолжайте учиться
Другие руководства, выбранные по этой теме
ДалееСледующее руководство
Объединение моделей
Технический