Término del glosario de IA

que es Mezcla de Expertos (MoE)?

Definición

Una arquitectura con subredes especializadas donde solo se ejecutan expertos seleccionados por entrada.

Términos relacionados

Clasificación
Una tarea en la que un modelo asigna una entrada a una o más categorías predefinidas.
Atención de ventana corrediza
Un patrón de atención en el que cada token atiende solo a una ventana de tamaño fijo de tokens cercanos para reducir la computación.
Mecanismo de atención
Un componente del modelo que se centra dinámicamente en partes relevantes de una entrada al producir una salida.
Cadena de pensamiento
Un estilo de razonamiento en el que un modelo de IA descompone un problema en pasos intermedios.
RECORTAR
Una arquitectura de modelo multimodal que aprende representaciones compartidas entre texto e imágenes.
Calcular
Los recursos de procesamiento necesarios para entrenar y ejecutar modelos, a menudo medidos en FLOPS u horas de GPU.

Obtenga más información en nuestras guías gratuitas.

Expert Parallelism for MoE ServingMixture-of-Agents AggregationMixture of DepthsMixture of LoRA Experts

See also

Memory (Agent Memory)Model CardMachine Learning (ML)Model DriftLoss FunctionModel QuantizationLoRA (Low-Rank Adaptation)Multimodal Model
Explore el glosario completo de IAExplora todas las guías gratuitas de IA