What is Sliding Window Attention? Definition | AI Understanding

Définition

Un modèle d'attention dans lequel chaque jeton s'occupe uniquement d'une fenêtre de taille fixe de jetons à proximité pour réduire le calcul.

Termes associés

Suppression des poids de modèle ou des neurones moins importants pour réduire la taille et le calcul.

Facturation basée sur l'utilisation

Tarification où les coûts évoluent en fonction des appels d'API, des jetons, du temps d'inférence ou du calcul consommé.

Relation empirique montrant comment les performances s'améliorent avec la taille du modèle, les données ou le calcul.

Modèle clairsemé

Un modèle où de nombreux paramètres sont nuls ou inactifs pour réduire les calculs.

Décodage spéculatif

Une méthode d'accélération d'inférence dans laquelle un petit projet de modèle propose des jetons qu'un modèle plus grand vérifie en parallèle.

Fenêtre contextuelle

Nombre maximum de jetons d'entrée qu'un modèle de langage peut traiter simultanément.

Apprenez-en davantage dans nos guides gratuits

Attention Rollout and Head Pruning Sequence Parallelism and Ring Attention Multi-Head Latent Attention RWKV Linear Attention

Voir aussi

ALiBi BPE (Byte Pair Encoding)RoPE (Rotary Positional Embeddings)SentencePiece Positional Encoding ANN (Approximate Nearest Neighbor)Multi-Head Attention HNSW

Parcourez le glossaire complet de l'IA Explorez tous les guides gratuits sur l'IA