Fusion du modèle évolutif Sakana AI
Sakana AI est un laboratoire basé à Tokyo qui applique à l'IA des méthodes inspirées de la nature, notamment en utilisant des algorithmes évolutifs pour fusionner des modèles ouverts existants en de nouveaux et meilleurs.
Aperçu
Instead of training from scratch, it 'breeds' models by automatically combining their strengths.
Plongée profonde
Sakana AI a été fondée en 2023 par Llion Jones, co-auteur de l'article original de Transformer « Attention Is All You Need », et David Ha, anciennement de Google Brain. Le nom signifie « poisson » en japonais, reflétant une philosophie inspirée des écoles et des essaims : de nombreux petits agents collectifs plutôt qu'un modèle géant. Sa technique révolutionnaire, Evolutionary Model Merging, utilise la recherche évolutive pour découvrir comment combiner les poids et les couches de plusieurs modèles open source pré-entraînés. L'algorithme explore des milliers de recettes de fusion, en conservant les combinaisons qui obtiennent de bons résultats sur les tâches cibles. Sakana a utilisé cela pour créer des modèles mathématiques et visuels japonais et japonais performants en fusionnant des modèles existants, pour une infime fraction du coût de formation de nouveaux. La société a également produit « AI Scientist », un système qui tente d'automatiser la recherche elle-même.
Aperçu technique
La fusion de modèles mélange les paramètres de réseaux formés séparément. Sakana évolue en fusionnant deux espaces à la fois : l'espace des paramètres (comment pondérer et interpoler les poids de chaque modèle, couche par couche) et l'espace des flux de données (à partir de quelles couches à partir de quels modèles empiler et dans quel ordre). Un algorithme évolutif propose des recettes candidates, les évalue sur un benchmark, sélectionne et mute les meilleures, en itérant vers des hybrides très performants sans formation basée sur le gradient.
Impact stratégique
Stratégie du fournisseur
Les feuilles de route des fournisseurs influencent les fonctionnalités que votre équipe peut ensuite créer.
Coût et budget
Les conditions commerciales et les options de déploiement affectent les coûts et les risques à long terme.
Risques et sécurité
Les incitations des entreprises façonnent les défauts des produits, la posture de sécurité et l’ouverture.
L'avenir de la fusion des modèles évolutifs de Sakana AI
La fusion évolutive laisse présager un avenir dans lequel de nouveaux modèles performants seront assemblés à moindre coût à partir d’une bibliothèque croissante de modèles ouverts, démocratisant ainsi l’accès au-delà des laboratoires dotés d’énormes budgets de calcul. En combinaison avec le « AI Scientist » automatisé de Sakana, la vision à long terme est celle des systèmes d'IA qui aident à découvrir leurs propres améliorations. Les questions ouvertes consistent notamment à éviter les modèles fusionnés qui héritent de bugs ou de biais, et à savoir si la recherche évolutive s'adapte à des performances de niveau frontière plutôt que de spécialiser principalement les modèles existants.
Mise en œuvre dans le monde réel
Création d'un modèle linguistique solide compatible avec le japonais en fusionnant des modèles ouverts anglais et japonais sans recyclage
Construire un modèle de raisonnement mathématique japonais en faisant évoluer des combinaisons de modèles spécialisés en mathématiques
Produire un modèle de langage de vision qui gère le texte japonais dans les images via une fusion inter-domaines
Permettre aux petites organisations d'assembler à moindre coût des modèles spécifiques à des tâches à partir d'évaluations ouvertes au lieu de se former à partir de zéro
Risques et garde-fous
Les annonces de lancement peuvent dépasser la stabilité des flux de production réels.
La tarification des API ou les changements de politique peuvent briser les hypothèses du jour au lendemain.
La dépendance à un seul fournisseur augmente les coûts de verrouillage et de migration.
Feuille de route de mise en œuvre
Évaluez les fournisseurs à l’aide de vos propres tâches et ensembles de données.
Vérifiez les conditions de confidentialité, de sécurité et juridiques avant l’intégration.
Maintenez un plan de secours entre les modèles ou les fournisseurs.
Surveillez les notes de version afin que les modifications de la feuille de route ne surprennent pas les équipes.
Continuez à explorer
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Sakana AI Evolutionary Model Merging quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Guide suivant
Fusion de modèles
Questions fréquemment posées
What is Sakana AI Evolutionary Model Merging?
Sakana AI est un laboratoire basé à Tokyo qui applique à l'IA des méthodes inspirées de la nature, notamment en utilisant des algorithmes évolutifs pour fusionner des modèles ouverts existants en de nouveaux et meilleurs. Au lieu de s'entraîner à partir de zéro, il « engendre » des modèles en combinant automatiquement leurs points forts.
Que fait réellement la fusion des modèles évolutifs de Sakana AI ?
Il développe des recettes pour combiner les poids et les couches de plusieurs modèles ouverts pré-entraînés, plutôt que de s'entraîner à nouveau.
Qui est l’un des co-fondateurs notables de Sakana AI ?
Llion Jones, co-auteur de « Attention Is All You Need », a cofondé Sakana avec David Ha.
Que signifie et reflète le nom « Sakana » ?
Sakana signifie poisson ; l'entreprise privilégie de nombreux petits agents collectifs plutôt qu'un modèle monolithique.
Sakana fait évoluer le modèle en fusionnant dans quels deux espaces ?
Il recherche à la fois comment pondérer/interpoler les paramètres et quelles couches empiler et dans quel ordre.
Outre la fusion de modèles, quel système ambitieux Sakana a-t-il introduit ?
Sakana a lancé « AI Scientist », un système qui tente d'automatiser certaines parties du processus de recherche lui-même.