YaRN και επέκταση μήκους περιβάλλοντος
Το YaRN (ακόμη μια επέκταση RoPE) είναι μια αποτελεσματική τεχνική για την επέκταση του χρησιμοποιήσιμου παραθύρου περιβάλλοντος ενός μοντέλου πολύ πέρα από αυτό στο οποίο είχε εκπαιδευτεί.
Επισκόπηση
Αναβαθμίζει έξυπνα τις ενσωματώσεις περιστροφικής θέσης, ώστε ένα μοντέλο που έχει εκπαιδευτεί, για παράδειγμα, σε μάρκες 4K να μπορεί να χειριστεί 32K ή περισσότερα με ελάχιστη ρύθμιση.
Βαθιά κατάδυση
Τα περισσότερα σύγχρονα LLM κωδικοποιούν θέσεις διακριτικών με RoPE (Rotary Position Embeddings), το οποίο περιστρέφει το ερώτημα και τα διανύσματα κλειδιών κατά γωνίες που συνδέονται με τη θέση. Όταν τροφοδοτείτε ακολουθίες μεγαλύτερες από τη διάρκεια της προπόνησης, αυτές οι περιστροφές εισέρχονται σε μη ορατά εύρη και το μοντέλο καταρρέει. Το YaRN, που εισήχθη το 2023 από τον Bowen Peng και τους συνεργάτες του, το διορθώνει με την παρεμβολή με επίγνωση NTK που εφαρμόζεται ανά συχνότητα: αφήνει τις διαστάσεις υψηλής συχνότητας (που καταγράφουν τοπικές σχέσεις μικρής εμβέλειας) ως επί το πλείστον ανέγγιχτες ενώ παρεμβάλλει διαστάσεις χαμηλής συχνότητας (που παρακολουθούν θέση μεγάλης εμβέλειας). Το YaRN προσθέτει επίσης μια προσαρμογή θερμοκρασίας στην προσοχή για να αντιμετωπίσει τις αλλαγές εντροπίας που προέρχονται από μεγαλύτερα περιβάλλοντα. Το αποτέλεσμα είναι ισχυρή απόδοση μεγάλου πλαισίου μετά τη λεπτομέρεια μόνο σε ένα μικρό κλάσμα των δεδομένων και στα βήματα που απαιτούν οι αφελείς προσεγγίσεις.
Τεχνική διορατικότητα
Το RoPE εκχωρεί σε κάθε διάσταση ενσωμάτωσης μια συχνότητα περιστροφής. Η απλή γραμμική παρεμβολή συμπιέζει όλες τις συχνότητες εξίσου, βλάπτοντας τις διαστάσεις υψηλής συχνότητας που κωδικοποιούν λεπτές τοπικές λεπτομέρειες. Το YaRN χρησιμοποιεί μια συνάρτηση ράμπας για να παρεμβάλλει μόνο τις διαστάσεις χαμηλής συχνότητας (μεγάλου μήκους κύματος) διατηρώντας τις διαστάσεις υψηλής συχνότητας, συν μια κλίμακα θερμοκρασίας προσοχής 1/sqrt(t) που διατηρεί σταθερή την ευκρίνεια softmax καθώς μεγαλώνει το μήκος της ακολουθίας. Αυτή η προσέγγιση NTK-by-parts επεκτείνει το πλαίσιο με πολύ λιγότερη υποβάθμιση.
Στρατηγικός αντίκτυπος
Κόστος και προϋπολογισμός
Οι αποφάσεις για την αρχιτεκτονική καθορίζουν την απόδοση και το λειτουργικό κόστος για χρόνια.
Σαφέστερες αποφάσεις
Η τεχνική εκπαίδευση βοηθά τις ομάδες να επιλέξουν τη σωστή στοίβα, όχι μόνο τη νεότερη.
Ελεγχος ποιότητας
Οι καλύτερες επιλογές μηχανικής μειώνουν τα περιστατικά αξιοπιστίας στην παραγωγή.
Το μέλλον του YaRN και η επέκταση μήκους περιβάλλοντος
Η επέκταση περιβάλλοντος αποτελεί πλέον τυπική πρακτική: τα ανοιχτά μοντέλα αποστέλλουν συστηματικά εκτεταμένες παραλλαγές YaRN που φτάνουν τα 128.000 tokens ή περισσότερο. Η έρευνα κινείται προς μεθόδους που επεκτείνουν το πλαίσιο με μηδενική ή σχεδόν μηδενική λεπτομέρεια, συνδυάζουν την αλλαγή κλίμακας RoPE με κόλπα με μοτίβα προσοχής και διατηρούν την ποιότητα σε όλο το παράθυρο και όχι μόνο στα άκρα. Αναμένετε αυστηρότερη ενσωμάτωση αυτών των τεχνικών στην προεκπαίδευση, ώστε το μακρύ πλαίσιο να είναι εγγενές και όχι εκ των υστέρων.
Υλοποίηση σε πραγματικό κόσμο
Επέκταση ενός ανοιχτού μοντέλου περιβάλλοντος 4K σε 32K ή 128K για απάντηση ερωτήσεων μεγάλου εγγράφου με σύντομη λεπτομέρεια
Επιτρέποντας στα συστήματα επαυξημένης ανάκτησης να απορροφούν πολλά συνενωμένα περάσματα χωρίς περικοπή
Ενεργοποίηση βοηθών κώδικα που χρειάζονται ένα ολόκληρο μεγάλο αρχείο αποθήκης ή πολλά αρχεία σε ένα μήνυμα
Προσαρμογή ενός βασικού μοντέλου για μεγάλες συνομιλίες πολλαπλών στροφών που συγκεντρώνουν μεγάλα ιστορικά συνομιλιών
Κίνδυνοι & προστατευτικά κιγκλιδώματα
Η βελτιστοποίηση ενός σημείου αναφοράς μπορεί να κρύψει ευρύτερες αδυναμίες του συστήματος.
Το κόστος υποδομής και συντήρησης συχνά υποτιμάται.
Τα κενά ασφάλειας και παρατηρητικότητας μπορούν να αυξηθούν καθώς τα συστήματα γίνονται πιο πολύπλοκα.
Οδικός Χάρτης Εφαρμογής
Καθορίστε τους στόχους καθυστέρησης, ποιότητας και κόστους πριν από την εφαρμογή.
Σημείο αναφοράς υπό ρεαλιστικές συνθήκες φορτίου και δεδομένων.
Παρακολούθηση οργάνου για σφάλματα, μετατόπιση και επιπτώσεις από τον χρήστη.
Προετοιμάστε διαδρομές επαναφοράς και απόκρισης συμβάντος πριν την κλιμάκωση.
Συνεχίστε την εξερεύνηση
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the YaRN and Context Length Extension quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Επόμενος οδηγός
Παρεμβολή θέσης για επέκταση περιβάλλοντος
Συχνές ερωτήσεις
Τι είναι το YaRN και η επέκταση μήκους περιβάλλοντος;
Το YaRN (ακόμη μια επέκταση RoPE) είναι μια αποτελεσματική τεχνική για την επέκταση του χρησιμοποιήσιμου παραθύρου περιβάλλοντος ενός μοντέλου πολύ πέρα από αυτό στο οποίο είχε εκπαιδευτεί. Αναβαθμίζει έξυπνα τις ενσωματώσεις περιστροφικής θέσης, έτσι ώστε ένα μοντέλο εκπαιδευμένο, για παράδειγμα, σε μάρκες 4K να μπορεί να χειριστεί 32K ή περισσότερα με ελάχιστη ρύθμιση.
Ποια μέθοδο κωδικοποίησης θέσης τροποποιεί το YaRN για να επεκτείνει το περιβάλλον;
Το YaRN, του οποίου το όνομα σημαίνει ακόμη μια επέκταση RoPE, αναβαθμίζει τις ενσωματώσεις περιστροφικής θέσης που χρησιμοποιούνται στα περισσότερα σύγχρονα LLM.
Τι πάει στραβά όταν ένα μοντέλο RoPE βλέπει ακολουθίες μεγαλύτερες από τη διάρκεια της προπόνησής του;
Οι θέσεις πέρα από την προπόνηση παράγουν γωνίες περιστροφής που δεν είδε ποτέ το μοντέλο, επομένως η συμπεριφορά προσοχής υποβαθμίζεται απότομα.
Πώς αντιμετωπίζει το YaRN διαφορετικές διαστάσεις συχνότητας RoPE;
Το YaRN χρησιμοποιεί μια ράμπα NTK-by-parts που παρεμβάλλει τα dims χαμηλής συχνότητας μεγάλου μήκους κύματος και αφήνει τα dims υψηλής συχνότητας μικρής εμβέλειας ως επί το πλείστον ανέπαφα.
Εκτός από την επανακλιμάκωση των συχνοτήτων, ποια πρόσθετη ρύθμιση εφαρμόζεται το YaRN;
Το YaRN προσθέτει μια κλιμάκωση θερμοκρασίας στα logit της προσοχής για να εξουδετερώσει τις μετατοπίσεις της εντροπίας που συμβαίνουν καθώς μεγαλώνει το περιβάλλον.
Ποιο είναι το βασικό πρακτικό πλεονέκτημα του YaRN έναντι της αφελούς παρεμβολής;
Το YaRN επιτυγχάνει ισχυρή ποιότητα μακροπρόθεσμου πλαισίου μετά από λεπτομέρεια σε ένα μικρό κλάσμα των δεδομένων που απαιτούν οι απλές μέθοδοι.