Γραμμική Προσοχή και Πυρήνες Εκτελεστή
Η γραμμική προσοχή αντικαθιστά την τετραγωνική προσοχή softmax στο Transformers με ένα μαθηματικό κόλπο που κλιμακώνεται γραμμικά με το μήκος της ακολουθίας.
Επισκόπηση
Performer is a landmark method that approximates softmax using random feature kernels, making very long sequences computationally affordable.
Βαθιά κατάδυση
Η προσοχή του τυπικού μετασχηματιστή υπολογίζει μια βαθμολογία μεταξύ κάθε ζεύγους διακριτικών, κοστίζοντας χρόνο και μνήμη που μεγαλώνουν με το τετράγωνο του μήκους της ακολουθίας (O(n^2)). Η γραμμική προσοχή ξαναγράφει τον υπολογισμό, έτσι το κόστος αυξάνεται μόνο γραμμικά (O(n)). Η βασική ιδέα: η προσοχή του softmax είναι το softmax(QK^T)V, αλλά αν αντικαταστήσετε το softmax με έναν χάρτη χαρακτηριστικών του πυρήνα phi, θα λάβετε phi(Q)(phi(K)^T V). Επειδή ο πολλαπλασιασμός του πίνακα είναι συσχετιστικός, υπολογίζετε πρώτα το phi(K)^T V (ένας μικρός πίνακας d-by-d), αποφεύγοντας εντελώς τον τεράστιο πίνακα βαθμολογίας n-by-n. Το Performer, από Google το 2020, κάνει αυτό μια πιστή προσέγγιση του πραγματικού softmax χρησιμοποιώντας FAVOR+ (Γρήγορη προσοχή μέσω θετικών ορθογωνικών τυχαίων χαρακτηριστικών), σχεδιάζοντας τυχαίες προβολές που διατηρούν τις εκτιμήσεις του πυρήνα αμερόληπτες και σταθερές.
Τεχνική διορατικότητα
Το FAVOR+ του Performer's προσεγγίζει τον πυρήνα softmax exp(q.k) χρησιμοποιώντας θετικά τυχαία χαρακτηριστικά: αντιστοιχίζει ερωτήματα και κλειδιά μέσω τυχαίων προβολών Gauss τυλιγμένα σε εκθετική, διασφαλίζοντας μη αρνητικά βάρη προσοχής και αποφεύγοντας τις αριθμητικές αστάθειες των προηγούμενων εκτιμητών. Η χρήση ορθογώνιων τυχαίων χαρακτηριστικών μειώνει τη διακύμανση. Είναι πολύ σημαντικό ότι ο πίνακας προσοχής n-by-n δεν υλοποιείται ποτέ, επομένως η μνήμη πέφτει από το τετράγωνο σε γραμμικό, επιτρέποντας ακολουθίες δεκάδων χιλιάδων διακριτικών.
Στρατηγικός αντίκτυπος
Κόστος και προϋπολογισμός
Οι αποφάσεις για την αρχιτεκτονική καθορίζουν την απόδοση και το λειτουργικό κόστος για χρόνια.
Σαφέστερες αποφάσεις
Η τεχνική εκπαίδευση βοηθά τις ομάδες να επιλέξουν τη σωστή στοίβα, όχι μόνο τη νεότερη.
Ελεγχος ποιότητας
Οι καλύτερες επιλογές μηχανικής μειώνουν τα περιστατικά αξιοπιστίας στην παραγωγή.
The Future of Linear Attention and Performer Kernels
Η καθαρή γραμμική προσοχή συχνά ακολουθεί το softmax στην ποιότητα, επομένως το πεδίο συγκλίνει στα υβρίδια: μοντέλα κατάστασης χώρου (Mamba), κλειστή γραμμική προσοχή και αρχιτεκτονικές που συνδυάζουν μερικά επίπεδα πλήρους προσοχής με πολλά γραμμικά. Καθώς τα παράθυρα περιβάλλοντος πιέζουν προς εκατομμύρια διακριτικά, οι γραμμικοί και οι δευτεροβάθμιοι μηχανισμοί γίνονται όλο και πιο ελκυστικοί όσον αφορά το κόστος και η γραμμική προσοχή επαναλαμβανόμενου στυλ επανεξετάζεται για αποτελεσματικά συμπεράσματα ροής και μοντέλα στη συσκευή.
Υλοποίηση σε πραγματικό κόσμο
Επεξεργασία μακρών γονιδιωματικών ή πρωτεϊνικών αλληλουχιών όπου η πλήρης τετραγωνική προσοχή θα εξαντλούσε τη μνήμη GPU
Σύνοψη σε επίπεδο εγγράφου σε πολύ μεγάλες αναφορές χωρίς τεμαχισμό, χρησιμοποιώντας μια ραχοκοκαλιά τύπου Performer
Αποτελεσματική μοντελοποίηση ήχου μεγάλης μορφής ή χρονοσειρών όπου οι ακολουθίες εκτείνονται σε δεκάδες χιλιάδες βήματα
Μείωση του κόστους συμπερασμάτων σε μοντέλα συνομιλίας μεγάλου πλαισίου αντικαθιστώντας ορισμένα επίπεδα softmax με παραλλαγές γραμμικής προσοχής
Κίνδυνοι & προστατευτικά κιγκλιδώματα
Η βελτιστοποίηση ενός σημείου αναφοράς μπορεί να κρύψει ευρύτερες αδυναμίες του συστήματος.
Το κόστος υποδομής και συντήρησης συχνά υποτιμάται.
Τα κενά ασφάλειας και παρατηρητικότητας μπορούν να αυξηθούν καθώς τα συστήματα γίνονται πιο πολύπλοκα.
Οδικός Χάρτης Εφαρμογής
Καθορίστε τους στόχους καθυστέρησης, ποιότητας και κόστους πριν από την εφαρμογή.
Σημείο αναφοράς υπό ρεαλιστικές συνθήκες φορτίου και δεδομένων.
Παρακολούθηση οργάνου για σφάλματα, μετατόπιση και επιπτώσεις από τον χρήστη.
Προετοιμάστε διαδρομές επαναφοράς και απόκρισης συμβάντος πριν την κλιμάκωση.
Συνεχίστε την εξερεύνηση
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Linear Attention and Performer Kernels quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Επόμενος οδηγός
RWKV Γραμμική Προσοχή
Συχνές ερωτήσεις
What is Linear Attention and Performer Kernels?
Η γραμμική προσοχή αντικαθιστά την τετραγωνική προσοχή softmax στο Transformers με ένα μαθηματικό κόλπο που κλιμακώνεται γραμμικά με το μήκος της ακολουθίας. Το Performer είναι μια μέθοδος ορόσημο που προσεγγίζει το softmax χρησιμοποιώντας τυχαίους πυρήνες χαρακτηριστικών, καθιστώντας τις πολύ μεγάλες ακολουθίες υπολογιστικά προσιτές.
Γιατί η τυπική προσοχή softmax κλιμακώνεται ελάχιστα με το μήκος της ακολουθίας;
Η προσοχή του Softmax συγκρίνει κάθε ζεύγος διακριτικών, παράγοντας έναν πίνακα βαθμολογίας n-by-n, οπότε το κόστος αυξάνεται όσο O(n^2).
Ποια μαθηματική ιδιότητα επιτρέπει στη γραμμική προσοχή να αποφύγει τον πίνακα n-by-n;
Επειδή ο πολλαπλασιασμός του πίνακα είναι συσχετιστικός, μπορείτε να υπολογίσετε πρώτα το phi(K)^T V, έναν μικρό πίνακα d-by-d, αντί του phi(Q)phi(K)^T.
Τι προσεγγίζει ο μηχανισμός Performer's FAVOR+;
Το FAVOR+ χρησιμοποιεί θετικά ορθογώνια τυχαία χαρακτηριστικά για να προσεγγίσει τον εκθετικό πυρήνα softmax χωρίς να σχηματίσει τον πλήρη πίνακα προσοχής.
Γιατί το Performer χρησιμοποιεί θετικά τυχαία χαρακτηριστικά αντί για τα προηγούμενα τριγωνομετρικά;
Τα θετικά χαρακτηριστικά διατηρούν τις εκτιμήσεις του πυρήνα μη αρνητικές, αποφεύγοντας τις αστάθειες και τις αρνητικές τιμές που ταλαιπωρούσαν τους προηγούμενους χάρτες χαρακτηριστικών sin/cos.
Ποια είναι κατά προσέγγιση η πολυπλοκότητα της γραμμικής προσοχής τύπου Performer στο μήκος ακολουθίας n;
Με την αναδιάταξη του υπολογισμού και ποτέ τη δημιουργία του πίνακα n-by-n, το κόστος κλιμακώνεται γραμμικά με το μήκος της ακολουθίας.