Terme du glossaire IA

Qu’est-ce que Attention multi-têtes ?

Définition

Un mécanisme de transformation qui exécute plusieurs opérations d'attention en parallèle pour capturer différents types de relations.

Parcourez le glossaire complet de l'IAExplorez tous les guides gratuits sur l'IA

Termes associés

TransformateurUne architecture neuronale qui utilise l'attention pour modéliser les relations entre les séquences en parallèle.Récupération multi-requêtesUne technique de récupération qui réécrit la requête de l'utilisateur en plusieurs variantes pour améliorer le rappel.Mécanisme d'attentionUn composant de modèle qui se concentre dynamiquement sur les parties pertinentes d'une entrée lors de la production d'une sortie.Attention éclairUn algorithme d'attention optimisé qui réduit l'utilisation de la mémoire et accélère la formation et l'inférence des transformateurs.Modèle multimodalUn modèle capable de traiter ou de générer plusieurs types de données tels que du texte, des images et de l'audio.Graphique des connaissancesUne structure graphique d'entités et de relations utilisée pour le raisonnement ou la récupération.

Apprenez-en davantage dans nos guides gratuits

Multilingual LLMsMultimodal SearchHard Parameter Sharing in Multi-Task NetworksAttention Rollout and Head Pruning

Voir aussi

Positional EncodingQLoRARoPE (Rotary Positional Embeddings)DPO (Direct Preference Optimization)ALiBiTree of ThoughtsSliding Window AttentionReAct