Termo do glossário de IA

O que é Atenção Multi-Cabeça?

Definição

Um mecanismo transformador que executa diversas operações de atenção em paralelo para capturar diferentes tipos de relacionamentos.

Navegue pelo glossário completo de IAExplore todos os guias gratuitos de IA

Termos relacionados

TransformadorUma arquitetura neural que usa atenção para modelar relacionamentos entre sequências em paralelo.Recuperação multiconsultaUma técnica de recuperação que reescreve a consulta do usuário em diversas variantes para melhorar a recuperação.Mecanismo de AtençãoUm componente do modelo que se concentra dinamicamente em partes relevantes de uma entrada ao produzir uma saída.Atenção instantâneaUm algoritmo de atenção otimizado que reduz o uso de memória e acelera o treinamento e a inferência do transformador.Modelo MultimodalUm modelo que pode processar ou gerar vários tipos de dados, como texto, imagem e áudio.Gráfico de conhecimentoUma estrutura gráfica de entidades e relacionamentos usada para raciocínio ou recuperação.

Saiba mais em nossos guias gratuitos

Multilingual LLMsMultimodal SearchHard Parameter Sharing in Multi-Task NetworksAttention Rollout and Head Pruning

Veja também

Positional EncodingQLoRARoPE (Rotary Positional Embeddings)DPO (Direct Preference Optimization)ALiBiTree of ThoughtsSliding Window AttentionReAct