Συρόμενο παράθυρο Προσοχή
Η προσοχή του συρόμενου παραθύρου περιορίζει κάθε διακριτικό να παρακολουθεί μόνο μια γειτονιά σταθερού μεγέθους κοντινών διακριτικών αντί για ολόκληρη τη σειρά.
Επισκόπηση
This cuts the quadratic cost of standard attention down to linear, making long-context models far cheaper to run.
Βαθιά κατάδυση
Η τυπική αυτοπροσοχή συγκρίνει κάθε διακριτικό με κάθε άλλο διακριτικό, επομένως μια ακολουθία μήκους N απαιτεί περίπου συγκρίσεις με Ν-τετράγωνο. Η προσοχή στο συρόμενο παράθυρο το διορθώνει δίνοντας σε κάθε διακριτικό ένα παράθυρο μεγέθους W (ας πούμε 4.096 μάρκες) και φροντίζοντας μόνο τους γείτονες μέσα σε αυτό το παράθυρο. Το κόστος αυξάνεται ως N επί W αντί για N-τετράγωνο. Είναι πολύ σημαντικό, η στοίβαξη πολλών επιπέδων παραθύρων επεκτείνει το αποτελεσματικό δεκτικό πεδίο: μετά από τα επίπεδα L, οι πληροφορίες μπορούν να διαδοθούν σε κουπόνια περίπου L επί W, όπως το αυξανόμενο δεκτικό πεδίο ενός CNN. Το Mistral 7B το έκανε δημοφιλές με ένα παράθυρο 4.096 διακριτικών σε 32 επίπεδα, φτάνοντας σε ένα θεωρητικό εύρος 131 K-token. Τα μοντέλα συχνά αναμιγνύουν στρώματα με παράθυρα με περιστασιακά επίπεδα πλήρους προσοχής για να διατηρήσουν συνδέσμους μεγάλης εμβέλειας.
Τεχνική διορατικότητα
Στη μάσκα προσοχής, ένα ερώτημα στη θέση i επιτρέπεται να βλέπει κλειδιά μόνο από τις θέσεις i μείον W συν 1 έως i (αιτιακή περίπτωση). Αυτή η αραιή μάσκα σημαίνει ότι η κρυφή μνήμη KV χρειάζεται μόνο τα τελευταία διακριτικά W ανά επίπεδο, μειώνοντας τη μνήμη κατά τη δημιουργία. Επειδή το παράθυρο αλλάζει με κάθε νέο διακριτικό, ζευγαρώνει φυσικά με μια κυλιόμενη προσωρινή μνήμη που αντικαθιστά τις παλαιότερες καταχωρήσεις αντί να μεγαλώνει για πάντα.
Στρατηγικός αντίκτυπος
Ταχύτητα και κλίμακα
Οι ροές εργασίας της γλώσσας μπορούν να κινηθούν πιο γρήγορα χωρίς να θυσιάζεται η συνέπεια.
Πρόσβαση και προσέγγιση χρηστών
Επεκτείνει την πρόσβαση σε όλες τις γλώσσες και τα στυλ επικοινωνίας.
Σαφέστερες αποφάσεις
Οι ομάδες μπορούν να αφιερώσουν περισσότερο χρόνο στην κρίση, ενώ ο αυτοματισμός χειρίζεται την επανάληψη.
Το μέλλον του συρόμενου παραθύρου Προσοχή
Τα υβριδικά σχέδια συμπλέκουν τώρα μερικά καθολικά επίπεδα ή επίπεδα πλήρους προσοχής μεταξύ πολλών επιπέδων συρόμενων παραθύρων, εξισορροπώντας την αποτελεσματικότητα με την πραγματική συλλογιστική μεγάλης εμβέλειας. Το Gemma 2 και άλλα εναλλάσσουν τοπικά και παγκόσμια μπλοκ. Αναμένετε ότι η προσοχή του παραθύρου θα συνδυαστεί με μοντέλα χώρου κατάστασης, καταβόθρες προσοχής και συμπίεση κρυφής μνήμης KV, έτσι ώστε τα μοντέλα συνόρων να χειρίζονται περιβάλλοντα εκατομμυρίων διακριτικών χωρίς διαφυγή μνήμη. Γίνεται ένα προεπιλεγμένο δομικό στοιχείο παρά μια εξωτική βελτιστοποίηση.
Υλοποίηση σε πραγματικό κόσμο
Το Mistral 7B χρησιμοποιεί ένα συρόμενο παράθυρο με 4.096 διακριτικά στα στρώματά του για να χειρίζεται φθηνά μεγάλες προτροπές σε μονάδες GPU καταναλωτών.
Το Longformer εφαρμόζει παραθυρική προσοχή και μερικά παγκόσμια διακριτικά για την ταξινόμηση και τη σύνοψη πολυσέλιδων εγγράφων.
Το Gemma 2 εναλλάσσει τοπικά επίπεδα συρόμενων παραθύρων με επίπεδα καθολικής προσοχής για να εξισορροπήσει την ταχύτητα και την ανάκληση μεγάλης εμβέλειας.
Οι κρυφές μνήμες KV κυλιόμενης ενδιάμεσης μνήμης στους βοηθούς συνομιλίας διατηρούν μόνο το πιο πρόσφατο παράθυρο των διακριτικών, περιορίζοντας τη μνήμη κατά τη διάρκεια μεγάλων συνομιλιών.
Κίνδυνοι & προστατευτικά κιγκλιδώματα
Τα παραισθησιακά γεγονότα μπορούν να εισάγουν αθόρυβα αναφορές, να υποστηρίζουν ροές ή αποτελέσματα έρευνας.
Η άμεση ευαισθησία μπορεί να δημιουργήσει ασυνεπή αποτελέσματα σε παρόμοια αιτήματα.
Τα ευαίσθητα δεδομένα κειμένου ενδέχεται να εκτεθούν εάν τα στοιχεία ελέγχου πρόσβασης είναι αδύναμα.
Οδικός Χάρτης Εφαρμογής
Καθορίστε τη μορφή εξόδου, τον τόνο και τα πρότυπα ποιότητας πριν από την κυκλοφορία.
Επίγειες απαντήσεις με αξιόπιστες πηγές όποτε έχει σημασία η ακρίβεια.
Διατηρήστε ένα σημείο ελέγχου ανθρώπινης αξιολόγησης για αποτελέσματα υψηλού πονταρίσματος.
Παρακολουθήστε τα μοτίβα αποτυχίας και επανεκπαιδεύστε τις προτροπές ή τις ροές εργασίας τακτικά.
Συνεχίστε την εξερεύνηση
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Sliding Window Attention quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Επόμενος οδηγός
Ομαδοποιημένο ερώτημα Προσοχή
Συχνές ερωτήσεις
What is Sliding Window Attention?
Η προσοχή του συρόμενου παραθύρου περιορίζει κάθε διακριτικό να παρακολουθεί μόνο μια γειτονιά σταθερού μεγέθους κοντινών διακριτικών αντί για ολόκληρη τη σειρά. Αυτό μειώνει το τετραγωνικό κόστος της τυπικής προσοχής σε γραμμικό, καθιστώντας τα μοντέλα μεγάλου πλαισίου πολύ φθηνότερα στην εκτέλεση.
Ποιο είναι το κύριο υπολογιστικό πλεονέκτημα της προσοχής του συρόμενου παραθύρου έναντι της τυπικής αυτοπροσοχής;
Περιορίζοντας κάθε διακριτικό σε ένα σταθερό παράθυρο W γειτόνων, το κόστος αυξάνεται ως N επί W (γραμμικό σε N) αντί N-τετράγωνο.
Στη σχεδίαση του Mistral 7B, πώς μπορούν οι πληροφορίες να ταξιδεύουν ακόμα πολύ πέρα από ένα μόνο παράθυρο 4.096 διακριτικών;
Όπως ένα CNN, κάθε επίπεδο ωθεί τις πληροφορίες ένα παράθυρο παραπέρα, έτσι τα επίπεδα L δίνουν ένα αποτελεσματικό εύρος περίπου L επί W tokens.
Γιατί η προσοχή του συρόμενου παραθύρου μειώνει τη μνήμη κατά τη δημιουργία κειμένου;
Δεδομένου ότι ένα διακριτικό παρακολουθεί μόνο το πρόσφατο παράθυρό του, οι παλαιότερες καταχωρίσεις κλειδιού/τιμής μπορούν να απορριφθούν, συχνά μέσω μιας κυλιόμενης προσωρινής μνήμης.
Ποια σχεδιαστική επιλογή χρησιμοποιούν μοντέλα όπως το Gemma 2 μαζί με συρόμενα παράθυρα για να διατηρήσουν τη λογική μακράς εμβέλειας;
Η ανάμειξη περιστασιακών επιπέδων παγκόσμιας/πλήρους προσοχής μεταξύ τοπικών επιπέδων διατηρεί τις πραγματικές συνδέσεις μεγάλων αποστάσεων που εξασθενεί το καθαρό παράθυρο.
Για ένα αιτιολογικό συρόμενο παράθυρο μεγέθους W, ποια πλήκτρα μπορεί να κάνει ένα ερώτημα στη θέση που παρακολουθώ;
Στην αιτιακή περίπτωση, το ερώτημα βλέπει τον εαυτό του και τα διακριτικά W μείον 1 αμέσως πριν από αυτό, ποτέ μελλοντικά διακριτικά.