Ενσωματώσεις περιστροφικής θέσης
Οι ενσωματώσεις περιστροφικής θέσης (RoPE) κωδικοποιούν το σημείο όπου κάθε διακριτικό βρίσκεται σε μια ακολουθία περιστρέφοντας το ερώτημα και τα διανύσματα κλειδιών κατά γωνία ανάλογη με τη θέση.
Επισκόπηση
This elegant trick lets transformers understand relative distances and extend gracefully to longer contexts.
Βαθιά κατάδυση
Οι μετασχηματιστές δεν έχουν ενσωματωμένη αίσθηση τάξης, επομένως χρειάζονται με κάποιο τρόπο προσθήκη πληροφοριών θέσης. Τα πρώιμα μοντέλα πρόσθεσαν σταθερά ημιτονοειδή διανύσματα ή ενσωματώσεις θέσης στις εισόδους. Το RoPE, που προτάθηκε από τον Su και τους συνεργάτες του το 2021, ακολουθεί μια διαφορετική προσέγγιση: αντί να προσθέτει ένα διάνυσμα θέσης, περιστρέφει ζεύγη διαστάσεων στο ερώτημα και διανύσματα κλειδιών κατά μια γωνία που μεγαλώνει με τη θέση του διακριτικού. Όταν το μοντέλο υπολογίζει το γινόμενο κουκίδων μεταξύ ενός ερωτήματος στη θέση m και ενός κλειδιού στη θέση n, τα μαθηματικά λειτουργούν έτσι ώστε το αποτέλεσμα να εξαρτάται μόνο από τη σχετική τους απόσταση m μείον n. Αυτό δίνει γνήσια επίγνωση της σχετικής θέσης, παίζει όμορφα με αποτελεσματικούς πυρήνες προσοχής και μειώνει την προσοχή ομαλά με την απόσταση. Το RoPE χρησιμοποιείται πλέον στα Llama, Mistral, Qwen και στα περισσότερα σύγχρονα ανοιχτά μοντέλα.
Τεχνική διορατικότητα
Το RoPE αντιμετωπίζει τις διαστάσεις ενσωμάτωσης σε ζεύγη και εφαρμόζει μια 2D περιστροφή σε κάθε ζεύγος, με διαφορετικά ζεύγη να περιστρέφονται σε διαφορετικές συχνότητες, όπως οι δείκτες πολλών ρολογιών που χτυπούν με διαφορετικές ταχύτητες. Επειδή η περιστροφή κατά τη θέση m και στη συνέχεια η λήψη ενός γινόμενου κουκκίδας με κάτι που περιστρέφεται κατά τη θέση n αφήνει μόνο τη διαφορά γωνίας, οι βαθμολογίες προσοχής γίνονται συναρτήσεις σχετικής θέσης. Τα ζεύγη υψηλής συχνότητας καταγράφουν εξαιρετική τοπική τάξη. Ζεύγη χαμηλής συχνότητας καταγράφουν θέση μεγάλης εμβέλειας. Κυρίως, τροποποιεί ερωτήματα και κλειδιά, όχι τιμές.
Στρατηγικός αντίκτυπος
Ταχύτητα και κλίμακα
Οι ροές εργασίας της γλώσσας μπορούν να κινηθούν πιο γρήγορα χωρίς να θυσιάζεται η συνέπεια.
Πρόσβαση και προσέγγιση χρηστών
Επεκτείνει την πρόσβαση σε όλες τις γλώσσες και τα στυλ επικοινωνίας.
Σαφέστερες αποφάσεις
Οι ομάδες μπορούν να αφιερώσουν περισσότερο χρόνο στην κρίση, ενώ ο αυτοματισμός χειρίζεται την επανάληψη.
The Future of Rotary Position Embeddings
Πολλές πρόσφατες εργασίες επικεντρώνονται στην επέκταση του RoPE σε περιβάλλοντα πολύ μεγαλύτερα από ό,τι είχε εκπαιδευτεί ένα μοντέλο. Τεχνικές όπως η παρεμβολή θέσης, η κλιμάκωση με επίγνωση NTK και το YaRN προσαρμόζουν τις συχνότητες περιστροφής, έτσι ώστε ένα μοντέλο που είναι εκπαιδευμένο, ας πούμε, σε κουπόνια 4K να μπορεί να χειριστεί 32K ή περισσότερα με ελαφριά λεπτομέρεια. Αναμένετε ότι το RoPE θα παραμείνει το κυρίαρχο σχήμα θέσης, με συνεχείς βελτιώσεις στη βασική του συχνότητα και κλιμάκωση για περιβάλλοντα εκατομμυρίων διακριτικών και συνεχή μελέτη του πώς αλληλεπιδρά με τη συμπεριφορά προσοχής.
Υλοποίηση σε πραγματικό κόσμο
Δίνοντας στα μοντέλα Llama, Mistral και Qwen την αίσθηση της συμβολικής τάξης χωρίς χωριστές ενσωματώσεις θέσης
Επέκταση του χρησιμοποιήσιμου περιβάλλοντος ενός μοντέλου από μερικές χιλιάδες σε δεκάδες χιλιάδες διακριτικά μέσω παρεμβολής ή YaRN
Βοηθητικά μοντέλα κώδικα παρακολουθούν σχετικές αποστάσεις μεταξύ αγκύλων, συναρτήσεων και αναφορών σε μεγάλα αρχεία
Υποστήριξη μακροσκελής απάντησης σε ερωτήσεις εγγράφων όπου έχει σημασία η σχετική θέση μεταξύ ερώτησης και αποδεικτικών στοιχείων
Κίνδυνοι & προστατευτικά κιγκλιδώματα
Τα παραισθησιακά γεγονότα μπορούν να εισάγουν αθόρυβα αναφορές, να υποστηρίζουν ροές ή αποτελέσματα έρευνας.
Η άμεση ευαισθησία μπορεί να δημιουργήσει ασυνεπή αποτελέσματα σε παρόμοια αιτήματα.
Τα ευαίσθητα δεδομένα κειμένου ενδέχεται να εκτεθούν εάν τα στοιχεία ελέγχου πρόσβασης είναι αδύναμα.
Οδικός Χάρτης Εφαρμογής
Καθορίστε τη μορφή εξόδου, τον τόνο και τα πρότυπα ποιότητας πριν από την κυκλοφορία.
Επίγειες απαντήσεις με αξιόπιστες πηγές όποτε έχει σημασία η ακρίβεια.
Διατηρήστε ένα σημείο ελέγχου ανθρώπινης αξιολόγησης για αποτελέσματα υψηλού πονταρίσματος.
Παρακολουθήστε τα μοτίβα αποτυχίας και επανεκπαιδεύστε τις προτροπές ή τις ροές εργασίας τακτικά.
Συνεχίστε την εξερεύνηση
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Rotary Position Embeddings quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Επόμενος οδηγός
Προκατάληψη θέσης ALiBi
Συχνές ερωτήσεις
What is Rotary Position Embeddings?
Οι ενσωματώσεις περιστροφικής θέσης (RoPE) κωδικοποιούν το σημείο όπου κάθε διακριτικό βρίσκεται σε μια ακολουθία περιστρέφοντας το ερώτημα και τα διανύσματα κλειδιών κατά γωνία ανάλογη με τη θέση. Αυτό το κομψό κόλπο επιτρέπει στους μετασχηματιστές να κατανοούν τις σχετικές αποστάσεις και να επεκτείνονται με χάρη σε μεγαλύτερα περιβάλλοντα.
Πώς το RoPE εγχέει τις πληροφορίες θέσης σε έναν μετασχηματιστή;
Το RoPE περιστρέφει τα διανύσματα ερωτήματος και κλειδιών κατά γωνία ανάλογη με τη θέση, αντί να προσθέτει ένα ξεχωριστό διάνυσμα θέσης.
Ποια μέρη του υπολογισμού προσοχής τροποποιεί το RoPE;
Το RoPE εφαρμόζει τις περιστροφές του στα διανύσματα ερωτήματος και κλειδιών, αφήνοντας ανέγγιχτα τα διανύσματα τιμών.
Γιατί διαφορετικά ζεύγη διαστάσεων περιστρέφονται σε διαφορετικές συχνότητες στο RoPE;
Όπως οι δείκτες του ρολογιού που χτυπούν με διαφορετικές ταχύτητες, οι ποικίλες συχνότητες επιτρέπουν σε ορισμένα ζεύγη να κωδικοποιούν τη θέση μικρής εμβέλειας και άλλα σε θέση μεγάλης εμβέλειας.
Ποιος είναι ο στόχος τεχνικών όπως η παρεμβολή θέσης, η κλιμάκωση με επίγνωση NTK και το YaRN;
Αυτές οι μέθοδοι αναπροσαρμόζουν τις συχνότητες περιστροφής του RoPE, ώστε ένα μοντέλο να μπορεί να χειριστεί πολύ μεγαλύτερα περιβάλλοντα από το αρχικό του μήκος εκπαίδευσης.