What is Mixture of Experts (MoE)? Definition | AI Understanding

Définition

Une architecture avec des sous-réseaux spécialisés où seuls des experts sélectionnés s'exécutent par entrée.

Termes associés

Tâche dans laquelle un modèle attribue une entrée à une ou plusieurs catégories prédéfinies.

Attention fenêtre coulissante

Un modèle d'attention dans lequel chaque jeton s'occupe uniquement d'une fenêtre de taille fixe de jetons à proximité pour réduire le calcul.

Mécanisme d'attention

Un composant de modèle qui se concentre dynamiquement sur les parties pertinentes d'une entrée lors de la production d'une sortie.

Chaîne de pensée

Un style de raisonnement dans lequel un modèle d'IA décompose un problème en étapes intermédiaires.

Une architecture de modèle multimodale qui apprend les représentations partagées entre le texte et les images.

Les ressources de traitement nécessaires pour entraîner et exécuter des modèles, souvent mesurées en heures FLOPS ou GPU.

Apprenez-en davantage dans nos guides gratuits

Expert Parallelism for MoE Serving Mixture-of-Agents Aggregation Mixture of Depths Mixture of LoRA Experts

Voir aussi

Memory (Agent Memory)Model Card Machine Learning (ML)Model Drift Loss Function Model Quantization LoRA (Low-Rank Adaptation)Multimodal Model

Parcourez le glossaire complet de l'IA Explorez tous les guides gratuits sur l'IA