ΕπόμενοΕπόμενος οδηγός
RWKV Γραμμική Προσοχή
Γλώσσα AI
Τεχνικός ΟΔΗΓΟΣ
Γραμμική Προσοχή και Πυρήνες Εκτελεστή
Η γραμμική προσοχή αντικαθιστά την τετραγωνική προσοχή softmax στο Transformers με ένα μαθηματικό κόλπο που κλιμακώνεται γραμμικά με το μήκος της ακολουθίας.
Ακούστε αυτόν τον οδηγόαφήγηση με AI · ~2 min
Σε αυτήν τη σελίδα2 λεπτά ανάγνωση
Επισκόπηση
Το Performer είναι μια μέθοδος ορόσημο που προσεγγίζει το softmax χρησιμοποιώντας τυχαίους πυρήνες χαρακτηριστικών, καθιστώντας τις πολύ μεγάλες ακολουθίες υπολογιστικά προσιτές.
Βαθιά κατάδυση
Η προσοχή του τυπικού μετασχηματιστή υπολογίζει μια βαθμολογία μεταξύ κάθε ζεύγους διακριτικών, κοστίζοντας χρόνο και μνήμη που μεγαλώνουν με το τετράγωνο του μήκους της ακολουθίας (O(n^2)). Η γραμμική προσοχή ξαναγράφει τον υπολογισμό, έτσι το κόστος αυξάνεται μόνο γραμμικά (O(n)). Η βασική ιδέα: η προσοχή του softmax είναι το softmax(QK^T)V, αλλά αν αντικαταστήσετε το softmax με έναν χάρτη χαρακτηριστικών του πυρήνα phi, θα λάβετε phi(Q)(phi(K)^T V). Επειδή ο πολλαπλασιασμός του πίνακα είναι συσχετιστικός, υπολογίζετε πρώτα το phi(K)^T V (ένας μικρός πίνακας d-by-d), αποφεύγοντας εντελώς τον τεράστιο πίνακα βαθμολογίας n-by-n. Το Performer, από Google το 2020, κάνει αυτό μια πιστή προσέγγιση του πραγματικού softmax χρησιμοποιώντας FAVOR+ (Γρήγορη προσοχή μέσω θετικών ορθογωνικών τυχαίων χαρακτηριστικών), σχεδιάζοντας τυχαίες προβολές που διατηρούν τις εκτιμήσεις του πυρήνα αμερόληπτες και σταθερές.
Υλοποίηση σε πραγματικό κόσμο
Επεξεργασία μακρών γονιδιωματικών ή πρωτεϊνικών αλληλουχιών όπου η πλήρης τετραγωνική προσοχή θα εξαντλούσε τη μνήμη GPU
Σύνοψη σε επίπεδο εγγράφου σε πολύ μεγάλες αναφορές χωρίς τεμαχισμό, χρησιμοποιώντας μια ραχοκοκαλιά τύπου Performer
Αποτελεσματική μοντελοποίηση ήχου μεγάλης μορφής ή χρονοσειρών όπου οι ακολουθίες εκτείνονται σε δεκάδες χιλιάδες βήματα
Μείωση του κόστους συμπερασμάτων σε μοντέλα συνομιλίας μεγάλου πλαισίου αντικαθιστώντας ορισμένα επίπεδα softmax με παραλλαγές γραμμικής προσοχής
The Future of Linear Attention and Performer Kernels
Η καθαρή γραμμική προσοχή συχνά ακολουθεί το softmax στην ποιότητα, επομένως το πεδίο συγκλίνει στα υβρίδια: μοντέλα κατάστασης χώρου (Mamba), κλειστή γραμμική προσοχή και αρχιτεκτονικές που συνδυάζουν μερικά επίπεδα πλήρους προσοχής με πολλά γραμμικά. Καθώς τα παράθυρα περιβάλλοντος πιέζουν προς εκατομμύρια διακριτικά, οι γραμμικοί και οι δευτεροβάθμιοι μηχανισμοί γίνονται όλο και πιο ελκυστικοί όσον αφορά το κόστος και η γραμμική προσοχή επαναλαμβανόμενου στυλ επανεξετάζεται για αποτελεσματικά συμπεράσματα ροής και μοντέλα στη συσκευή.
Κάνοντάς το στην πράξη
Γιατί έχει σημασία
- Κόστος και προϋπολογισμός. Οι αποφάσεις για την αρχιτεκτονική καθορίζουν την απόδοση και το λειτουργικό κόστος για χρόνια.
- Σαφέστερες αποφάσεις. Η τεχνική εκπαίδευση βοηθά τις ομάδες να επιλέξουν τη σωστή στοίβα, όχι μόνο τη νεότερη.
- Ελεγχος ποιότητας. Οι καλύτερες επιλογές μηχανικής μειώνουν τα περιστατικά αξιοπιστίας στην παραγωγή.
Προσέξτε
- Η βελτιστοποίηση ενός σημείου αναφοράς μπορεί να κρύψει ευρύτερες αδυναμίες του συστήματος.
- Το κόστος υποδομής και συντήρησης συχνά υποτιμάται.
- Τα κενά ασφάλειας και παρατηρητικότητας μπορούν να αυξηθούν καθώς τα συστήματα γίνονται πιο πολύπλοκα.
Επόμενα βήματα
- Καθορίστε τους στόχους καθυστέρησης, ποιότητας και κόστους πριν από την εφαρμογή.
- Σημείο αναφοράς υπό ρεαλιστικές συνθήκες φορτίου και δεδομένων.
- Παρακολούθηση οργάνου για σφάλματα, μετατόπιση και επιπτώσεις από τον χρήστη.
- Προετοιμάστε διαδρομές επαναφοράς και απόκρισης συμβάντος πριν την κλιμάκωση.
Συνεχίστε την εξερεύνηση
Δωρεάν ενημερωτικό δελτίο
Λάβετε την καθημερινή ενημέρωση AI
Τρία επαληθευμένα νέα AI κάθε πρωί της εβδομάδας, γραμμένα σε απλή αγγλική. Δωρεάν για πάντα, χωρίς διαφημίσεις.
Ένα email κάθε εργάσιμη ημέρα. Κατάργηση συνδρομής με ένα κλικ. Δεν πουλάμε ή μοιραζόμαστε ποτέ τη διεύθυνσή σας.
Δοκιμάστε τον εαυτό σας
Take the Linear Attention and Performer Kernels quiz
Άμεση ανάδραση σε κάθε απάντηση, και πιστοποιητικό με επαληθεύσιμο ID μόλις περάσετε το μάθημα.
Υποστηρίξτε τη δωρεάν εκπαίδευση AI. AI Understanding είναι μια μη κερδοσκοπική οργάνωση 501(c)(3) — χωρίς διαφημίσεις, χωρίς τοίχο πληρωμής, ποτέ. Κάντε μια δωρεά
Συχνές ερωτήσεις
Τι είναι οι πυρήνες γραμμικής προσοχής και απόδοσης;
Η γραμμική προσοχή αντικαθιστά την τετραγωνική προσοχή softmax στο Transformers με ένα μαθηματικό κόλπο που κλιμακώνεται γραμμικά με το μήκος της ακολουθίας. Το Performer είναι μια μέθοδος ορόσημο που προσεγγίζει το softmax χρησιμοποιώντας τυχαίους πυρήνες χαρακτηριστικών, καθιστώντας τις πολύ μεγάλες ακολουθίες υπολογιστικά προσιτές.
Γιατί η τυπική προσοχή softmax κλιμακώνεται ελάχιστα με το μήκος της ακολουθίας;
Η προσοχή του Softmax συγκρίνει κάθε ζεύγος διακριτικών, παράγοντας έναν πίνακα βαθμολογίας n-by-n, οπότε το κόστος αυξάνεται όσο O(n^2).
Ποια μαθηματική ιδιότητα επιτρέπει στη γραμμική προσοχή να αποφύγει τον πίνακα n-by-n;
Επειδή ο πολλαπλασιασμός του πίνακα είναι συσχετιστικός, μπορείτε να υπολογίσετε πρώτα το phi(K)^T V, έναν μικρό πίνακα d-by-d, αντί του phi(Q)phi(K)^T.
Τι προσεγγίζει ο μηχανισμός Performer's FAVOR+;
Το FAVOR+ χρησιμοποιεί θετικά ορθογώνια τυχαία χαρακτηριστικά για να προσεγγίσει τον εκθετικό πυρήνα softmax χωρίς να σχηματίσει τον πλήρη πίνακα προσοχής.
Γιατί το Performer χρησιμοποιεί θετικά τυχαία χαρακτηριστικά αντί για τα προηγούμενα τριγωνομετρικά;
Τα θετικά χαρακτηριστικά διατηρούν τις εκτιμήσεις του πυρήνα μη αρνητικές, αποφεύγοντας τις αστάθειες και τις αρνητικές τιμές που ταλαιπωρούσαν τους προηγούμενους χάρτες χαρακτηριστικών sin/cos.
Ποια είναι κατά προσέγγιση η πολυπλοκότητα της γραμμικής προσοχής τύπου Performer στο μήκος ακολουθίας n;
Με την αναδιάταξη του υπολογισμού και ποτέ τη δημιουργία του πίνακα n-by-n, το κόστος κλιμακώνεται γραμμικά με το μήκος της ακολουθίας.
Συνέχισε να μαθαίνεις
Σχετικοί οδηγοί
Επιλέχθηκαν περισσότεροι οδηγοί για αυτό το θέμα