Término del glosario de IA

¿Qué es Atención multicabezal?

Definición

Un mecanismo transformador que ejecuta varias operaciones de atención en paralelo para capturar diferentes tipos de relaciones.

Explore el glosario completo de IAExplora todas las guías gratuitas de IA

Términos relacionados

TransformadorUna arquitectura neuronal que utiliza la atención para modelar relaciones entre secuencias en paralelo.Recuperación de consultas múltiplesUna técnica de recuperación que reescribe la consulta del usuario en varias variantes para mejorar la recuperación.Mecanismo de atenciónUn componente del modelo que se centra dinámicamente en partes relevantes de una entrada al producir una salida.Atención relámpagoUn algoritmo de atención optimizado que reduce el uso de memoria y acelera el entrenamiento y la inferencia de transformadores.Modelo multimodalUn modelo que puede procesar o generar múltiples tipos de datos, como texto, imagen y audio.Gráfico de conocimientoUna estructura gráfica de entidades y relaciones utilizadas para razonamiento o recuperación.

Obtenga más información en nuestras guías gratuitas.

Multilingual LLMsMultimodal SearchHard Parameter Sharing in Multi-Task NetworksAttention Rollout and Head Pruning

Véase también

Positional EncodingQLoRARoPE (Rotary Positional Embeddings)DPO (Direct Preference Optimization)ALiBiTree of ThoughtsSliding Window AttentionReAct