What is Mixture of Experts (MoE)? Definition | AI Understanding

Definição

Uma arquitetura com sub-redes especializadas onde apenas especialistas selecionados executam cada entrada.

Termos relacionados

Classificação

Uma tarefa em que um modelo atribui uma entrada a uma ou mais categorias predefinidas.

Atenção à janela deslizante

Um padrão de atenção em que cada token atende apenas a uma janela de tamanho fixo de tokens próximos para reduzir a computação.

Mecanismo de Atenção

Um componente do modelo que se concentra dinamicamente em partes relevantes de uma entrada ao produzir uma saída.

Cadeia de Pensamento

Um estilo de raciocínio em que um modelo de IA decompõe um problema em etapas intermediárias.

Uma arquitetura de modelo multimodal que aprende representações compartilhadas entre texto e imagens.

Os recursos de processamento necessários para treinar e executar modelos, geralmente medidos em FLOPS ou horas de GPU.

Saiba mais em nossos guias gratuitos

Expert Parallelism for MoE Serving Mixture-of-Agents Aggregation Mixture of Depths Mixture of LoRA Experts

Veja também

Memory (Agent Memory)Model Card Machine Learning (ML)Model Drift Loss Function Model Quantization LoRA (Low-Rank Adaptation)Multimodal Model

Navegue pelo glossário completo de IA Explore todos os guias gratuitos de IA