Apprendre Actus Outils Emplois Mission

Terme du glossaire IA

Qu’est-ce que Mélange d'experts (MoE) ?

Définition

Une architecture avec des sous-réseaux spécialisés où seuls des experts sélectionnés s'exécutent par entrée.

Parcourez le glossaire complet de l'IA Explorez tous les guides gratuits sur l'IA

ClassementTâche dans laquelle un modèle attribue une entrée à une ou plusieurs catégories prédéfinies.Attention fenêtre coulissanteUn modèle d'attention dans lequel chaque jeton s'occupe uniquement d'une fenêtre de taille fixe de jetons à proximité pour réduire le calcul.Mécanisme d'attentionUn composant de modèle qui se concentre dynamiquement sur les parties pertinentes d'une entrée lors de la production d'une sortie.Chaîne de penséeUn style de raisonnement dans lequel un modèle d'IA décompose un problème en étapes intermédiaires.AGRAFEUne architecture de modèle multimodale qui apprend les représentations partagées entre le texte et les images.CalculerLes ressources de traitement nécessaires pour entraîner et exécuter des modèles, souvent mesurées en heures FLOPS ou GPU.

Apprenez-en davantage dans nos guides gratuits

Expert Parallelism for MoE Serving Mixture-of-Agents Aggregation Mixture of Depths Mixture of LoRA Experts

Voir aussi

Memory (Agent Memory)Model Card Machine Learning (ML)Model Drift Loss Function Model Quantization LoRA (Low-Rank Adaptation)Multimodal Model