Mélange d'experts
Le mélange d'experts (MoE) est une conception de modèle qui divise un réseau en de nombreux sous-réseaux spécialisés et n'en active que quelques-uns par entrée.
Aperçu
It lets models hold enormous knowledge while keeping each prediction fast and cheap.
Plongée profonde
Un transformateur standard fait passer chaque entrée à travers les mêmes couches denses, donc rendre le modèle plus intelligent signifie généralement rendre chaque calcul plus coûteux. Le mélange d’experts rompt ce lien. Il remplace la grande couche de rétroaction par de nombreux réseaux « experts » plus petits ainsi qu'un petit « routeur » qui décide quels experts gèrent chaque jeton. Généralement, seuls les 1 ou 2 meilleurs experts tirent, donc un modèle peut avoir des centaines de milliards de paramètres au total mais n'en activer qu'une petite fraction par jeton. C'est pourquoi des modèles comme Mixtral 8x7B et l'architecture supposée derrière GPT-4 atteignent une qualité élevée sans coût d'inférence proportionnellement élevé. Le compromis est la complexité : tous les experts doivent toujours tenir en mémoire, et le routeur peut mal acheminer ou surcharger certains experts, la formation nécessite donc un équilibre minutieux.
Aperçu technique
Le cœur du MoE est le réseau de contrôle, une petite couche apprise qui note chaque expert pour un jeton entrant et achemine le jeton vers les k meilleurs scores (souvent k = 1 ou 2). Pour empêcher le routeur d'envoyer tout à quelques experts favoris, la formation ajoute une « perte d'équilibrage de charge » auxiliaire qui pénalise une utilisation inégale. Étant donné que seuls k experts s'exécutent par jeton, le calcul (FLOP) reste à peu près constant même si vous ajoutez plus d'experts, de sorte que les paramètres totaux et le coût par jeton évoluent indépendamment.
Impact stratégique
Coût et budget
Les décisions en matière d'architecture déterminent les performances et les coûts d'exploitation pendant des années.
Décisions plus claires
La formation technique aide les équipes à choisir la bonne pile, pas seulement la plus récente.
Contrôle qualité
De meilleurs choix d’ingénierie réduisent les incidents de fiabilité en production.
L’avenir du mélange d’experts
Le MoE est en train de devenir un outil par défaut pour les modèles à l’échelle des frontières, car il dissocie la capacité du coût. Attendez-vous à des experts plus précis, à un routage plus intelligent qui prend en compte davantage de contexte et à de meilleures techniques pour servir d'énormes modèles clairsemés sur un matériel limité. La recherche s'attaque également au problème de la mémoire, puisque tous les experts doivent être chargés même si peu d'entre eux sont exécutés, grâce au déchargement et à la quantification des experts. À mesure que les modèles ouverts comme Mixtral et DeepSeek-MoE mûrissent, les architectures clairsemées alimenteront probablement des assistants plus efficaces avec des budgets GPU plus petits.
Mise en œuvre dans le monde réel
Mixtral 8x7B utilise 8 experts et en active 2 par jeton, ce qui donne environ 47 B de paramètres au total, mais seulement environ 13 B actifs par jeton pour une inférence plus rapide et moins chère.
DeepSeek et Qwen proposent de grands modèles de langage MoE qui correspondent à des modèles denses sur des références tout en fonctionnant avec un calcul par jeton inférieur.
Les fournisseurs Cloud LLM utilisent MoE afin qu'un seul modèle énorme puisse servir de nombreux utilisateurs à un prix abordable, puisque chaque demande n'éclaire que quelques experts.
Le précédent Switch Transformer de Google s'est adapté à plus d'un billion de paramètres en utilisant le routage top-1 pour que le calcul d'entraînement reste gérable.
Risques et garde-fous
L’optimisation d’un benchmark peut masquer des faiblesses plus larges du système.
Les coûts d’infrastructure et de maintenance sont souvent sous-estimés.
Les lacunes en matière de sécurité et d’observabilité peuvent se creuser à mesure que les systèmes deviennent plus complexes.
Feuille de route de mise en œuvre
Définissez les objectifs de latence, de qualité et de coût avant la mise en œuvre.
Benchmark dans des conditions de charge et de données réalistes.
Surveillance des instruments pour détecter les erreurs, la dérive et l'impact sur l'utilisateur.
Préparez les chemins de restauration et de réponse aux incidents avant la mise à l’échelle.
Continuez à explorer
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Mixture of Experts quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Guide suivant
Mélange d'experts LoRA
Questions fréquemment posées
What is Mixture of Experts?
Le mélange d'experts (MoE) est une conception de modèle qui divise un réseau en de nombreux sous-réseaux spécialisés et n'en active que quelques-uns par entrée. Il permet aux modèles de détenir d’énormes connaissances tout en gardant chaque prédiction rapide et bon marché.
Dans une couche de mélange d'experts, qu'est-ce qui décide quels experts traiteront un jeton donné ?
Un petit réseau de contrôle apprend à noter chaque expert pour le jeton et l'achemine vers ceux qui obtiennent les meilleurs scores. Le routage est appris, non fixe ou aléatoire.
Pourquoi un modèle MoE peut-il avoir beaucoup plus de paramètres totaux qu’un modèle dense sans une augmentation correspondante du coût par jeton ?
Étant donné que seuls les k meilleurs experts déclenchent par jeton, le calcul actif reste à peu près constant même si le nombre total de paramètres augmente en ajoutant davantage d'experts.
Quel problème une perte d’équilibrage de charge (auxiliaire) résout-elle pendant la formation MoE ?
Sans équilibrage, le routeur a tendance à privilégier une poignée d’experts. La perte auxiliaire pénalise une utilisation inégale et tous les experts sont donc formés.
Mixtral 8x7B active 2 de ses 8 experts par jeton. Qu'est-ce que cela implique concernant son calcul par rapport à sa taille ?
Avec seulement 2 experts sur 8 actifs, les paramètres actifs par jeton (~ 13 B) sont beaucoup plus petits que le total de ~ 47 B, ce qui réduit le coût d'inférence.
Quel est le véritable inconvénient des modèles MoE par rapport aux modèles denses tout aussi performants ?
Même si seuls quelques experts calculent par jeton, les pondérations de chaque expert doivent être chargées en mémoire, ce qui rend les modèles du MoE gourmands en mémoire.