Aprender Noticias Herramientas Empleos Misión

Término del glosario de IA

¿Qué es Mezcla de Expertos (MoE)?

Definición

Una arquitectura con subredes especializadas donde solo se ejecutan expertos seleccionados por entrada.

Explore el glosario completo de IA Explora todas las guías gratuitas de IA

ClasificaciónUna tarea en la que un modelo asigna una entrada a una o más categorías predefinidas.Atención de ventana corredizaUn patrón de atención en el que cada token atiende solo a una ventana de tamaño fijo de tokens cercanos para reducir la computación.Mecanismo de atenciónUn componente del modelo que se centra dinámicamente en partes relevantes de una entrada al producir una salida.Cadena de pensamientoUn estilo de razonamiento en el que un modelo de IA descompone un problema en pasos intermedios.RECORTARUna arquitectura de modelo multimodal que aprende representaciones compartidas entre texto e imágenes.CalcularLos recursos de procesamiento necesarios para entrenar y ejecutar modelos, a menudo medidos en FLOPS u horas de GPU.

Obtenga más información en nuestras guías gratuitas.

Expert Parallelism for MoE Serving Mixture-of-Agents Aggregation Mixture of Depths Mixture of LoRA Experts

Véase también

Memory (Agent Memory)Model Card Machine Learning (ML)Model Drift Loss Function Model Quantization LoRA (Low-Rank Adaptation)Multimodal Model