Modèles mixtes et clairsemés
Mixtral est le modèle ouvert de mélange d'experts de Mistral AI qui offre une qualité de grand modèle à la vitesse d'un petit modèle.
Aperçu
Sparse models like it activate only a fraction of their parameters per token, cutting compute without sacrificing capability.
Plongée profonde
Mixtral 8x7B, publié par Mistral AI fin 2023, a popularisé l'approche de mélange d'experts (MoE) dans les modèles ouverts. Il contient huit réseaux de rétroaction « experts » distincts par couche, avec environ 47 milliards de paramètres au total, mais un routeur léger sélectionne seulement deux experts pour chaque jeton. En conséquence, seulement environ 13 milliards de paramètres sont actifs par jeton, de sorte que l'inférence s'exécute à peu près aussi vite qu'un modèle dense 13B tout en atteignant une qualité comparable à celle de modèles beaucoup plus grands. Mixtral a égalé ou battu GPT-3.5 et Llama 2 70B sur de nombreux benchmarks tout en étant plus rapide et moins cher à servir. Mistral a ensuite publié Mistral 8x22B. Le modèle est sous licence ouverte Apache 2.0, ce qui alimente une adoption rapide et un réglage précis dans la communauté open source.
Aperçu technique
Dans une couche MoE clairsemée, le bloc dense de feed-forward est remplacé par N réseaux experts plus un petit réseau de contrôle (le routeur). Pour chaque jeton, le routeur calcule les scores et sélectionne les k meilleurs experts (les 2 premiers dans Mixtral), acheminant le jeton uniquement via ceux-ci. Leurs résultats sont pondérés et additionnés. Étant donné que la plupart des experts restent inactifs par jeton, le modèle conserve de nombreux paramètres en mémoire mais effectue beaucoup moins de calculs. Le compromis : tous les experts doivent être chargés dans la VRAM même si seuls certains d'entre eux fonctionnent.
Impact stratégique
Coût et budget
Les décisions en matière d'architecture déterminent les performances et les coûts d'exploitation pendant des années.
Décisions plus claires
La formation technique aide les équipes à choisir la bonne pile, pas seulement la plus récente.
Contrôle qualité
De meilleurs choix d’ingénierie réduisent les incidents de fiabilité en production.
L'avenir des modèles mixtes et clairsemés
Le Sparse MoE est désormais au cœur de l’IA des frontières. Attendez-vous à des versions MoE plus ouvertes, à un routage plus fin avec de nombreux petits experts et à des conceptions expertes partagées ou hybrides qui améliorent encore l'efficacité. Alors que les modèles évoluent vers des milliards de paramètres totaux, la parcimonie est le principal levier pour maintenir l’inférence abordable. La recherche s'attaque aux points faibles du MoE, à l'équilibrage de charge entre les experts, à la surcharge de mémoire et à la stabilité de la formation, tandis que le matériel et les piles de services s'optimisent de plus en plus spécifiquement pour le routage expert.
Mise en œuvre dans le monde réel
Servir un chatbot de haute qualité au prix et à la vitesse d'un modèle dense beaucoup plus petit
Auto-hébergement d'un modèle sous licence Apache-2.0 pour les produits commerciaux sans frais d'utilisation
Affiner les comportements individuels sur Mixtral pour les tâches de codage, de synthèse ou multilingues
Exécution d'une inférence rapide sur un seul serveur multi-GPU où un modèle dense de 70 B serait trop lent
Risques et garde-fous
L’optimisation d’un benchmark peut masquer des faiblesses plus larges du système.
Les coûts d’infrastructure et de maintenance sont souvent sous-estimés.
Les lacunes en matière de sécurité et d’observabilité peuvent se creuser à mesure que les systèmes deviennent plus complexes.
Feuille de route de mise en œuvre
Définissez les objectifs de latence, de qualité et de coût avant la mise en œuvre.
Benchmark dans des conditions de charge et de données réalistes.
Surveillance des instruments pour détecter les erreurs, la dérive et l'impact sur l'utilisateur.
Préparez les chemins de restauration et de réponse aux incidents avant la mise à l’échelle.
Continuez à explorer
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Mixtral and Sparse Models quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Guide suivant
Parallélisme des modèles et des pipelines
Questions fréquemment posées
What is Mixtral and Sparse Models?
Mixtral est le modèle ouvert de mélange d'experts de Mistral AI qui offre une qualité de grand modèle à la vitesse d'un petit modèle. Les modèles clairsemés comme celui-ci n'activent qu'une fraction de leurs paramètres par jeton, réduisant ainsi le calcul sans sacrifier la capacité.
Dans Mixtral 8x7B, combien d'experts traitent chaque jeton individuel ?
Mixtral utilise le routage top-2 : un routeur sélectionne deux des huit experts pour traiter chaque jeton.
Quel composant décide à quels experts un jeton est envoyé ?
Un petit réseau de contrôle, appelé routeur, note les experts et sélectionne ceux qui gèrent chaque jeton.
Bien que Mixtral 8x7B ait environ 47 B de paramètres au total, combien environ sont actifs par jeton ?
Étant donné que seuls deux experts s'exécutent par jeton, environ 13 milliards de paramètres sont actifs, ce qui lui confère la vitesse d'un modèle beaucoup plus petit.
Quel est le compromis clé entre les modèles MoE clairsemés comme Mixtral ?
Le MoE économise le calcul par jeton mais exige toujours que tous les experts soient conservés dans la VRAM, ce qui augmente les besoins en mémoire.
Sous quelle licence Mistral AI a-t-il publié Mixtral, alimentant ainsi une adoption ouverte ?
Mixtral a été publié sous la licence permissive Apache 2.0, permettant une utilisation commerciale gratuite et un réglage fin.