Término del glosario de IA

que es Atención multicabezal?

Definición

Un mecanismo transformador que ejecuta varias operaciones de atención en paralelo para capturar diferentes tipos de relaciones.

Términos relacionados

Transformador
Una arquitectura neuronal que utiliza la atención para modelar relaciones entre secuencias en paralelo.
Recuperación de consultas múltiples
Una técnica de recuperación que reescribe la consulta del usuario en varias variantes para mejorar la recuperación.
Mecanismo de atención
Un componente del modelo que se centra dinámicamente en partes relevantes de una entrada al producir una salida.
Atención relámpago
Un algoritmo de atención optimizado que reduce el uso de memoria y acelera el entrenamiento y la inferencia de transformadores.
Modelo multimodal
Un modelo que puede procesar o generar múltiples tipos de datos, como texto, imagen y audio.
Gráfico de conocimiento
Una estructura gráfica de entidades y relaciones utilizadas para razonamiento o recuperación.

Obtenga más información en nuestras guías gratuitas.

Multilingual LLMsMultimodal SearchHard Parameter Sharing in Multi-Task NetworksAttention Rollout and Head Pruning

See also

Positional EncodingQLoRARoPE (Rotary Positional Embeddings)DPO (Direct Preference Optimization)ALiBiTree of ThoughtsSliding Window AttentionReAct
Explore el glosario completo de IAExplora todas las guías gratuitas de IA