Attention fenêtre coulissante
L'attention de la fenêtre coulissante restreint chaque jeton à s'occuper uniquement d'un quartier de taille fixe de jetons proches au lieu de la séquence entière.
Aperçu
This cuts the quadratic cost of standard attention down to linear, making long-context models far cheaper to run.
Plongée profonde
L'auto-attention standard compare chaque jeton avec tous les autres jetons, donc une séquence de longueur N nécessite des comparaisons à peu près N carrés. L'attention de la fenêtre coulissante résout ce problème en attribuant à chaque jeton une fenêtre de taille W (disons 4 096 jetons) et en ne s'occupant que des voisins à l'intérieur de cette fenêtre. Le coût augmente comme N fois W au lieu de N au carré. Surtout, l'empilement de plusieurs couches fenêtrées élargit le champ de réception effectif : après L couches, les informations peuvent se propager sur environ L fois W jetons, comme le champ de réception croissant d'un CNN. Mistral 7B a popularisé cela avec une fenêtre de 4 096 jetons sur 32 couches, atteignant une durée théorique de 131 000 jetons. Les modèles mélangent souvent des couches fenêtrées avec des couches occasionnelles à pleine attention pour préserver les liens à longue portée.
Aperçu technique
Dans le masque d'attention, une requête à la position i est uniquement autorisée à voir les clés des positions i moins W plus 1 à i (cas causal). Ce masque clairsemé signifie que le cache KV n'a besoin que des derniers jetons W par couche, réduisant ainsi la mémoire lors de la génération. Étant donné que la fenêtre se déplace à chaque nouveau jeton, elle s'associe naturellement à un cache tampon évolutif qui écrase les entrées les plus anciennes plutôt que de croître indéfiniment.
Impact stratégique
Vitesse et échelle
Les flux de travail linguistiques peuvent évoluer plus rapidement sans sacrifier la cohérence.
Accès et portée
Il étend l’accès à toutes les langues et styles de communication.
Décisions plus claires
Les équipes peuvent consacrer plus de temps au jugement tandis que l’automatisation gère les répétitions.
L’avenir de l’attention par fenêtre coulissante
Les conceptions hybrides entrelacent désormais quelques couches globales ou d’attention totale parmi de nombreuses couches à fenêtres coulissantes, équilibrant ainsi l’efficacité avec un véritable raisonnement à longue portée. Gemma 2 et d'autres alternent les blocs locaux et globaux. Attendez-vous à ce que l'attention des fenêtres se combine avec les modèles d'espace d'état, les récepteurs d'attention et la compression du cache KV afin que les modèles frontières gèrent des contextes d'un million de jetons sans emballement de mémoire. Cela devient un élément de base par défaut plutôt qu’une optimisation exotique.
Mise en œuvre dans le monde réel
Mistral 7B utilise une fenêtre glissante de 4 096 jetons sur ses couches pour gérer les invites longues à moindre coût sur les GPU grand public.
Longformer applique une attention fenêtrée ainsi que quelques jetons globaux pour classer et résumer les documents de plusieurs pages.
Gemma 2 alterne les couches locales de fenêtre coulissante avec les couches d'attention globale pour équilibrer la vitesse et le rappel à longue portée.
Les caches KV à tampon roulant dans les assistants de discussion conservent uniquement la fenêtre de jetons la plus récente, limitant ainsi la mémoire lors de longues conversations.
Risques et garde-fous
Les faits hallucinés peuvent discrètement entrer dans des rapports, des flux de support ou des résultats de recherche.
La sensibilité des invites peut créer des résultats incohérents pour des demandes similaires.
Les données textuelles sensibles peuvent être exposées si les contrôles d’accès sont faibles.
Feuille de route de mise en œuvre
Définissez le format de sortie, le ton et les normes de qualité avant le déploiement.
Établissez des réponses auprès de sources fiables chaque fois que la précision est importante.
Gardez un point de contrôle d’examen humain pour les résultats à enjeux élevés.
Suivez les modèles de défaillance et recyclez régulièrement les invites ou les flux de travail.
Continuez à explorer
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Sliding Window Attention quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Guide suivant
Attention aux requêtes groupées
Questions fréquemment posées
What is Sliding Window Attention?
L'attention de la fenêtre coulissante restreint chaque jeton à s'occuper uniquement d'un quartier de taille fixe de jetons proches au lieu de la séquence entière. Cela réduit le coût quadratique de l’attention standard à un coût linéaire, ce qui rend les modèles à contexte long beaucoup moins chers à exécuter.
Quel est le principal avantage informatique de l’attention par fenêtre glissante par rapport à l’auto-attention standard ?
En limitant chaque jeton à une fenêtre fixe de W voisins, le coût augmente de N fois W (linéaire en N) plutôt que de N au carré.
Dans la conception de Mistral 7B, comment les informations peuvent-elles encore voyager bien au-delà d'une seule fenêtre de 4 096 jetons ?
Comme un CNN, chaque couche pousse les informations une fenêtre plus loin, de sorte que L couches donnent une durée effective d'environ L fois W jetons.
Pourquoi l'attention de la fenêtre coulissante réduit-elle la mémoire lors de la génération de texte ?
Étant donné qu'un jeton ne s'occupe que de sa fenêtre récente, les anciennes entrées clé/valeur peuvent être supprimées, souvent via un cache tampon évolutif.
Quel choix de conception les modèles comme Gemma 2 utilisent-ils aux côtés des fenêtres coulissantes pour conserver un raisonnement à longue portée ?
Le mélange occasionnel de couches globales/de pleine attention avec des couches locales préserve de véritables connexions longue distance que le fenêtrage pur affaiblit.
Pour une fenêtre glissante causale de taille W, à quelles clés une requête à la position i peut-elle s'occuper ?
Dans le cas causal, la requête se voit elle-même et les jetons W moins 1 immédiatement avant elle, jamais les jetons futurs.