Terme du glossaire IA

Qu'est-ce que Attention éclair?

Définition

Un algorithme d'attention optimisé qui réduit l'utilisation de la mémoire et accélère la formation et l'inférence des transformateurs.

Termes associés

Magasin de fonctionnalités
Un système géré pour stocker et servir des fonctionnalités ML validées de manière cohérente pour la formation et l'inférence.
Rétropropagation
L'algorithme de formation de base qui met à jour les pondérations du modèle en propageant les erreurs de prédiction vers l'arrière à travers le réseau.
Quantification du modèle
Réduire la précision numérique des poids du modèle pour réduire les coûts de mémoire et d'inférence.
Transformateur
Une architecture neuronale qui utilise l'attention pour modéliser les relations entre les séquences en parallèle.
Perte de formation
La valeur d'erreur du modèle calculée pendant la formation et optimisée à la baisse au fil du temps.
Attention multi-têtes
Un mécanisme de transformation qui exécute plusieurs opérations d'attention en parallèle pour capturer différents types de relations.

Apprenez-en davantage dans nos guides gratuits

Attention Rollout and Head PruningSequence Parallelism and Ring AttentionMulti-Head Latent AttentionRWKV Linear Attention

Voir aussi

QLoRADPO (Direct Preference Optimization)Positional EncodingTree of ThoughtsRoPE (Rotary Positional Embeddings)ReActALiBiAgentic Loop
Parcourez le glossaire complet de l'IAExplorez tous les guides gratuits sur l'IA