Terme du glossaire IA

Qu’est-ce que Attention éclair ?

Définition

Un algorithme d'attention optimisé qui réduit l'utilisation de la mémoire et accélère la formation et l'inférence des transformateurs.

Parcourez le glossaire complet de l'IAExplorez tous les guides gratuits sur l'IA

Termes associés

Magasin de fonctionnalitésUn système géré pour stocker et servir des fonctionnalités ML validées de manière cohérente pour la formation et l'inférence.RétropropagationL'algorithme de formation de base qui met à jour les pondérations du modèle en propageant les erreurs de prédiction vers l'arrière à travers le réseau.Quantification du modèleRéduire la précision numérique des poids du modèle pour réduire les coûts de mémoire et d'inférence.TransformateurUne architecture neuronale qui utilise l'attention pour modéliser les relations entre les séquences en parallèle.Perte de formationLa valeur d'erreur du modèle calculée pendant la formation et optimisée à la baisse au fil du temps.Attention multi-têtesUn mécanisme de transformation qui exécute plusieurs opérations d'attention en parallèle pour capturer différents types de relations.

Apprenez-en davantage dans nos guides gratuits

Attention Rollout and Head PruningSequence Parallelism and Ring AttentionMulti-Head Latent AttentionRWKV Linear Attention

Voir aussi

QLoRADPO (Direct Preference Optimization)Positional EncodingTree of ThoughtsRoPE (Rotary Positional Embeddings)ReActALiBiAgentic Loop