Aprender Notícias Ferramentas Vagas Missão

Termo do glossário de IA

O que é Mistura de Especialistas (MoE)?

Definição

Uma arquitetura com sub-redes especializadas onde apenas especialistas selecionados executam cada entrada.

Navegue pelo glossário completo de IA Explore todos os guias gratuitos de IA

ClassificaçãoUma tarefa em que um modelo atribui uma entrada a uma ou mais categorias predefinidas.Atenção à janela deslizanteUm padrão de atenção em que cada token atende apenas a uma janela de tamanho fixo de tokens próximos para reduzir a computação.Mecanismo de AtençãoUm componente do modelo que se concentra dinamicamente em partes relevantes de uma entrada ao produzir uma saída.Cadeia de PensamentoUm estilo de raciocínio em que um modelo de IA decompõe um problema em etapas intermediárias.GRAMPOUma arquitetura de modelo multimodal que aprende representações compartilhadas entre texto e imagens.CalcularOs recursos de processamento necessários para treinar e executar modelos, geralmente medidos em FLOPS ou horas de GPU.

Saiba mais em nossos guias gratuitos

Expert Parallelism for MoE Serving Mixture-of-Agents Aggregation Mixture of Depths Mixture of LoRA Experts

Veja também

Memory (Agent Memory)Model Card Machine Learning (ML)Model Drift Loss Function Model Quantization LoRA (Low-Rank Adaptation)Multimodal Model