ΕπόμενοΕπόμενος οδηγός
Παρεμβολή θέσης για επέκταση περιβάλλοντος
Γλώσσα AI
Τεχνικός ΟΔΗΓΟΣ
Παρεμβολή θέσης για μακρύ πλαίσιο
Η παρεμβολή θέσης (PI) είναι μια απλή, σημαντική τεχνική που επεκτείνει το παράθυρο περιβάλλοντος ενός μετασχηματιστή συμπιέζοντας νέους δείκτες θέσης στο εύρος που ήδη γνωρίζει το μοντέλο.
Ακούστε αυτόν τον οδηγόαφήγηση με AI · ~2 min
Σε αυτήν τη σελίδα2 λεπτά ανάγνωση
Επισκόπηση
Αντί να προεκταθεί σε μη ορατές θέσεις, παρεμβάλλεται μέσα σε εκπαιδευμένες θέσεις, απαιτώντας μόνο σύντομη μικρορύθμιση.
Βαθιά κατάδυση
Το Position Interpolation, το οποίο εισήχθη από τους ερευνητές Meta (Chen et al.) το 2023, αντιμετωπίζει το γεγονός ότι τα μοντέλα με RoPE αποτυγχάνουν καταστροφικά όταν προεκτείνονται σε θέσεις πέρα από την εκπαίδευση. Η διορατικότητα είναι αντιφατική: αντί να ζητά από το μοντέλο να χειριστεί μεγαλύτερες τιμές θέσης που δεν έχει δει ποτέ, το PI διαιρεί τους δείκτες εισερχόμενων θέσεων με έναν παράγοντα κλίμακας, έτσι ώστε ένα μήκος στόχου, ας πούμε, 8K να αντιστοιχίζεται ξανά στην αρχική περιοχή 2K. Επειδή το μοντέλο εκπαιδεύτηκε σε αυτό το εύρος, οι περιστροφές παραμένουν στη διανομή. Μετά από μόλις 1.000 βήματα λεπτομέρειας, ένα μοντέλο LLaMA επεκτάθηκε με αυτόν τον τρόπο χειρισμού έως και 32K περιβάλλον. Η εργασία έδειξε ότι η παρέκταση μπορεί να ανατινάξει τα σκορ της προσοχής σε τεράστιες τιμές, ενώ η παρεμβολή τις κρατά περιορισμένες και σταθερές, γι' αυτό η παρεμβολή λειτουργεί δραματικά καλύτερα από την παρέκταση.
Υλοποίηση σε πραγματικό κόσμο
Επέκταση ενός μοντέλου LLaMA 2K-πλαισίου για χειρισμό διακριτικών 8K-32K με περίπου 1.000 βήματα μικρορύθμισης
Προσαρμογή ενός υπάρχοντος μοντέλου συνομιλίας για μακροσκελή σύνοψη εγγράφων χωρίς επανεκπαίδευση από την αρχή
Χρησιμεύει ως η εννοιολογική βάση που βελτιώνει η κλίμακα NTK-aware και το YaRN
Ενεργοποίηση κώδικα εκτενούς περιεχομένου ή ανάλυσης νομικών εγγράφων σε μοντέλα που αρχικά είχαν εκπαιδευτεί με μικρά παράθυρα
Το μέλλον της παρεμβολής θέσης για μακρύ πλαίσιο
Η παρεμβολή θέσης έγινε το θεμέλιο για ένα κύμα παρακολούθησης, συμπεριλαμβανομένης της κλιμάκωσης με επίγνωση NTK και του YaRN, τα οποία παρεμβάλλονται πιο επιλεκτικά για να διατηρηθούν οι τοπικές λεπτομέρειες. Η τροχιά είναι προς μεθόδους που χρειάζονται ελάχιστη ή καθόλου λεπτομέρεια και προς το ψήσιμο του χειρισμού μακροχρόνιου πλαισίου στην προκατάρτιση. Το PI παραμένει μια πολύτιμη γραμμή βάσης και συχνά συνδυάζεται με νεότερα σχήματα με επίγνωση συχνότητας για την αποτελεσματική πρόσβαση σε παράθυρα περιβάλλοντος 128K και πλέον.
Κάνοντάς το στην πράξη
Γιατί έχει σημασία
- Κόστος και προϋπολογισμός. Οι αποφάσεις για την αρχιτεκτονική καθορίζουν την απόδοση και το λειτουργικό κόστος για χρόνια.
- Σαφέστερες αποφάσεις. Η τεχνική εκπαίδευση βοηθά τις ομάδες να επιλέξουν τη σωστή στοίβα, όχι μόνο τη νεότερη.
- Ελεγχος ποιότητας. Οι καλύτερες επιλογές μηχανικής μειώνουν τα περιστατικά αξιοπιστίας στην παραγωγή.
Προσέξτε
- Η βελτιστοποίηση ενός σημείου αναφοράς μπορεί να κρύψει ευρύτερες αδυναμίες του συστήματος.
- Το κόστος υποδομής και συντήρησης συχνά υποτιμάται.
- Τα κενά ασφάλειας και παρατηρητικότητας μπορούν να αυξηθούν καθώς τα συστήματα γίνονται πιο πολύπλοκα.
Επόμενα βήματα
- Καθορίστε τους στόχους καθυστέρησης, ποιότητας και κόστους πριν από την εφαρμογή.
- Σημείο αναφοράς υπό ρεαλιστικές συνθήκες φορτίου και δεδομένων.
- Παρακολούθηση οργάνου για σφάλματα, μετατόπιση και επιπτώσεις από τον χρήστη.
- Προετοιμάστε διαδρομές επαναφοράς και απόκρισης συμβάντος πριν την κλιμάκωση.
Συνεχίστε την εξερεύνηση
Δωρεάν ενημερωτικό δελτίο
Λάβετε την καθημερινή ενημέρωση AI
Τρία επαληθευμένα νέα AI κάθε πρωί της εβδομάδας, γραμμένα σε απλή αγγλική. Δωρεάν για πάντα, χωρίς διαφημίσεις.
Ένα email κάθε εργάσιμη ημέρα. Κατάργηση συνδρομής με ένα κλικ. Δεν πουλάμε ή μοιραζόμαστε ποτέ τη διεύθυνσή σας.
Δοκιμάστε τον εαυτό σας
Take the Positional Interpolation for Long Context quiz
Άμεση ανάδραση σε κάθε απάντηση, και πιστοποιητικό με επαληθεύσιμο ID μόλις περάσετε το μάθημα.
Υποστηρίξτε τη δωρεάν εκπαίδευση AI. AI Understanding είναι μια μη κερδοσκοπική οργάνωση 501(c)(3) — χωρίς διαφημίσεις, χωρίς τοίχο πληρωμής, ποτέ. Κάντε μια δωρεά
Συχνές ερωτήσεις
Τι είναι η παρεμβολή θέσης για μεγάλο πλαίσιο;
Η παρεμβολή θέσης (PI) είναι μια απλή, σημαντική τεχνική που επεκτείνει το παράθυρο περιβάλλοντος ενός μετασχηματιστή συμπιέζοντας νέους δείκτες θέσης στο εύρος που ήδη γνωρίζει το μοντέλο. Αντί να προεκταθεί σε μη ορατές θέσεις, παρεμβάλλεται μέσα σε εκπαιδευμένες θέσεις, απαιτώντας μόνο σύντομη μικρορύθμιση.
Ποια είναι η βασική ιδέα πίσω από την παρεμβολή θέσης;
Το PI διαιρεί τους δείκτες θέσης με έναν παράγοντα κλίμακας, ώστε οι μεγαλύτερες ακολουθίες να αντιστοιχίζονται πίσω στο εύρος της εκπαιδευμένης θέσης, διατηρώντας τις περιστροφές σε κατανομή.
Γιατί αποτυγχάνει η αφελής προέκταση σε μεγαλύτερες θέσεις;
Το έγγραφο PI έδειξε ότι οι αόρατες μεγάλες θέσεις μπορούν να παράγουν βαθμολογίες προσοχής τάξεις μεγέθους μεγαλύτερες από την προπόνηση, αποσταθεροποιώντας το softmax.
Πόση λεπτομέρεια χρειάστηκε περίπου η αρχική εργασία PI για την επέκταση του LLaMA στα 32K;
Η εφημερίδα ανέφερε ότι περίπου 1.000 βήματα λεπτομέρειας ήταν αρκετά για να επεκτείνουν το περιβάλλον έως και 32.000 διακριτικά.
Εάν επεκτείνετε το περιβάλλον κατά έναν παράγοντα s, πώς μετατρέπει το PI μια θέση m;
Το PI επανακλιμακώνει τη θέση m σε m/s, συμπιέζοντας το νέο μεγαλύτερο εύρος στο αρχικό εκπαιδευμένο εύρος.
Πώς επηρέασε το PI μεταγενέστερες μεθόδους όπως το YaRN;
Το PI καθιέρωσε την παρεμβολή ως την ασφαλή προσέγγιση. Η κλιμάκωση με επίγνωση NTK και το YaRN το βελτίωσαν παρεμβάλλοντας τις συχνότητες πιο επιλεκτικά.
Συνέχισε να μαθαίνεις
Σχετικοί οδηγοί
Επιλέχθηκαν περισσότεροι οδηγοί για αυτό το θέμα