What is Multi-Head Attention? Definition | AI Understanding

Definição

Um mecanismo transformador que executa diversas operações de atenção em paralelo para capturar diferentes tipos de relacionamentos.

Termos relacionados

Uma arquitetura neural que usa atenção para modelar relacionamentos entre sequências em paralelo.

Recuperação multiconsulta

Uma técnica de recuperação que reescreve a consulta do usuário em diversas variantes para melhorar a recuperação.

Mecanismo de Atenção

Um componente do modelo que se concentra dinamicamente em partes relevantes de uma entrada ao produzir uma saída.

Atenção instantânea

Um algoritmo de atenção otimizado que reduz o uso de memória e acelera o treinamento e a inferência do transformador.

Modelo Multimodal

Um modelo que pode processar ou gerar vários tipos de dados, como texto, imagem e áudio.

Gráfico de conhecimento

Uma estrutura gráfica de entidades e relacionamentos usada para raciocínio ou recuperação.

Saiba mais em nossos guias gratuitos

Multilingual LLMs Multimodal Search Hard Parameter Sharing in Multi-Task Networks Attention Rollout and Head Pruning

Veja também

Positional Encoding QLoRA RoPE (Rotary Positional Embeddings)DPO (Direct Preference Optimization)ALiBi Tree of Thoughts Sliding Window Attention ReAct

Navegue pelo glossário completo de IA Explore todos os guias gratuitos de IA