Terme du glossaire IA

Qu’est-ce que Mécanisme d'attention ?

Définition

Un composant de modèle qui se concentre dynamiquement sur les parties pertinentes d'une entrée lors de la production d'une sortie.

Parcourez le glossaire complet de l'IAExplorez tous les guides gratuits sur l'IA

Termes associés

EncodeurLe composant d'un modèle qui transforme les entrées en représentations latentes.Attention multi-têtesUn mécanisme de transformation qui exécute plusieurs opérations d'attention en parallèle pour capturer différents types de relations.AlibiUne méthode de biais de position qui pénalise les scores d'attention en fonction de la distance symbolique, aidant ainsi les modèles à extrapoler à des contextes plus longs.ClassementTâche dans laquelle un modèle attribue une entrée à une ou plusieurs catégories prédéfinies.Fenêtre contextuelleNombre maximum de jetons d'entrée qu'un modèle de langage peut traiter simultanément.Dérive des donnéesUn changement dans les données d'entrée du monde réel au fil du temps qui peut dégrader les performances du modèle.

Apprenez-en davantage dans nos guides gratuits

Attention Rollout and Head PruningSequence Parallelism and Ring AttentionMulti-Head Latent AttentionRWKV Linear Attention

Voir aussi

Artificial Intelligence (AI)Autonomous SystemAPI (Application Programming Interface)BackpropagationAnnotationBaseline ModelAlgorithmic TransparencyBenchmark