Terme du glossaire IA

Qu’est-ce que Attention fenêtre coulissante ?

Définition

Un modèle d'attention dans lequel chaque jeton s'occupe uniquement d'une fenêtre de taille fixe de jetons à proximité pour réduire le calcul.

Parcourez le glossaire complet de l'IAExplorez tous les guides gratuits sur l'IA

Termes associés

TailleSuppression des poids de modèle ou des neurones moins importants pour réduire la taille et le calcul.Facturation basée sur l'utilisationTarification où les coûts évoluent en fonction des appels d'API, des jetons, du temps d'inférence ou du calcul consommé.Loi d'échelleRelation empirique montrant comment les performances s'améliorent avec la taille du modèle, les données ou le calcul.Modèle clairseméUn modèle où de nombreux paramètres sont nuls ou inactifs pour réduire les calculs.Décodage spéculatifUne méthode d'accélération d'inférence dans laquelle un petit projet de modèle propose des jetons qu'un modèle plus grand vérifie en parallèle.Fenêtre contextuelleNombre maximum de jetons d'entrée qu'un modèle de langage peut traiter simultanément.

Apprenez-en davantage dans nos guides gratuits

Attention Rollout and Head PruningSequence Parallelism and Ring AttentionMulti-Head Latent AttentionRWKV Linear Attention

Voir aussi

ALiBiBPE (Byte Pair Encoding)RoPE (Rotary Positional Embeddings)SentencePiecePositional EncodingANN (Approximate Nearest Neighbor)Multi-Head AttentionHNSW