ΕπόμενοΕπόμενος οδηγός
Παρεμβολή θέσης για επέκταση περιβάλλοντος
Γλώσσα AI
Τεχνικός ΟΔΗΓΟΣ
YaRN και επέκταση μήκους περιβάλλοντος
Το YaRN (ακόμη μια επέκταση RoPE) είναι μια αποτελεσματική τεχνική για την επέκταση του χρησιμοποιήσιμου παραθύρου περιβάλλοντος ενός μοντέλου πολύ πέρα από αυτό στο οποίο είχε εκπαιδευτεί.
Ακούστε αυτόν τον οδηγόαφήγηση με AI · ~2 min
Σε αυτήν τη σελίδα2 λεπτά ανάγνωση
Επισκόπηση
Αναβαθμίζει έξυπνα τις ενσωματώσεις περιστροφικής θέσης, ώστε ένα μοντέλο που έχει εκπαιδευτεί, για παράδειγμα, σε μάρκες 4K να μπορεί να χειριστεί 32K ή περισσότερα με ελάχιστη ρύθμιση.
Βαθιά κατάδυση
Τα περισσότερα σύγχρονα LLM κωδικοποιούν θέσεις διακριτικών με RoPE (Rotary Position Embeddings), το οποίο περιστρέφει το ερώτημα και τα διανύσματα κλειδιών κατά γωνίες που συνδέονται με τη θέση. Όταν τροφοδοτείτε ακολουθίες μεγαλύτερες από τη διάρκεια της προπόνησης, αυτές οι περιστροφές εισέρχονται σε μη ορατά εύρη και το μοντέλο καταρρέει. Το YaRN, που εισήχθη το 2023 από τον Bowen Peng και τους συνεργάτες του, το διορθώνει με την παρεμβολή με επίγνωση NTK που εφαρμόζεται ανά συχνότητα: αφήνει τις διαστάσεις υψηλής συχνότητας (που καταγράφουν τοπικές σχέσεις μικρής εμβέλειας) ως επί το πλείστον ανέγγιχτες ενώ παρεμβάλλει διαστάσεις χαμηλής συχνότητας (που παρακολουθούν θέση μεγάλης εμβέλειας). Το YaRN προσθέτει επίσης μια προσαρμογή θερμοκρασίας στην προσοχή για να αντιμετωπίσει τις αλλαγές εντροπίας που προέρχονται από μεγαλύτερα περιβάλλοντα. Το αποτέλεσμα είναι ισχυρή απόδοση μεγάλου πλαισίου μετά τη λεπτομέρεια μόνο σε ένα μικρό κλάσμα των δεδομένων και στα βήματα που απαιτούν οι αφελείς προσεγγίσεις.
Υλοποίηση σε πραγματικό κόσμο
Επέκταση ενός ανοιχτού μοντέλου περιβάλλοντος 4K σε 32K ή 128K για απάντηση ερωτήσεων μεγάλου εγγράφου με σύντομη λεπτομέρεια
Επιτρέποντας στα συστήματα επαυξημένης ανάκτησης να απορροφούν πολλά συνενωμένα περάσματα χωρίς περικοπή
Ενεργοποίηση βοηθών κώδικα που χρειάζονται ένα ολόκληρο μεγάλο αρχείο αποθήκης ή πολλά αρχεία σε ένα μήνυμα
Προσαρμογή ενός βασικού μοντέλου για μεγάλες συνομιλίες πολλαπλών στροφών που συγκεντρώνουν μεγάλα ιστορικά συνομιλιών
Το μέλλον του YaRN και η επέκταση μήκους περιβάλλοντος
Η επέκταση περιβάλλοντος αποτελεί πλέον τυπική πρακτική: τα ανοιχτά μοντέλα αποστέλλουν συστηματικά εκτεταμένες παραλλαγές YaRN που φτάνουν τα 128.000 tokens ή περισσότερο. Η έρευνα κινείται προς μεθόδους που επεκτείνουν το πλαίσιο με μηδενική ή σχεδόν μηδενική λεπτομέρεια, συνδυάζουν την αλλαγή κλίμακας RoPE με κόλπα με μοτίβα προσοχής και διατηρούν την ποιότητα σε όλο το παράθυρο και όχι μόνο στα άκρα. Αναμένετε αυστηρότερη ενσωμάτωση αυτών των τεχνικών στην προεκπαίδευση, ώστε το μακρύ πλαίσιο να είναι εγγενές και όχι εκ των υστέρων.
Κάνοντάς το στην πράξη
Γιατί έχει σημασία
- Κόστος και προϋπολογισμός. Οι αποφάσεις για την αρχιτεκτονική καθορίζουν την απόδοση και το λειτουργικό κόστος για χρόνια.
- Σαφέστερες αποφάσεις. Η τεχνική εκπαίδευση βοηθά τις ομάδες να επιλέξουν τη σωστή στοίβα, όχι μόνο τη νεότερη.
- Ελεγχος ποιότητας. Οι καλύτερες επιλογές μηχανικής μειώνουν τα περιστατικά αξιοπιστίας στην παραγωγή.
Προσέξτε
- Η βελτιστοποίηση ενός σημείου αναφοράς μπορεί να κρύψει ευρύτερες αδυναμίες του συστήματος.
- Το κόστος υποδομής και συντήρησης συχνά υποτιμάται.
- Τα κενά ασφάλειας και παρατηρητικότητας μπορούν να αυξηθούν καθώς τα συστήματα γίνονται πιο πολύπλοκα.
Επόμενα βήματα
- Καθορίστε τους στόχους καθυστέρησης, ποιότητας και κόστους πριν από την εφαρμογή.
- Σημείο αναφοράς υπό ρεαλιστικές συνθήκες φορτίου και δεδομένων.
- Παρακολούθηση οργάνου για σφάλματα, μετατόπιση και επιπτώσεις από τον χρήστη.
- Προετοιμάστε διαδρομές επαναφοράς και απόκρισης συμβάντος πριν την κλιμάκωση.
Συνεχίστε την εξερεύνηση
Δωρεάν ενημερωτικό δελτίο
Λάβετε την καθημερινή ενημέρωση AI
Τρία επαληθευμένα νέα AI κάθε πρωί της εβδομάδας, γραμμένα σε απλή αγγλική. Δωρεάν για πάντα, χωρίς διαφημίσεις.
Ένα email κάθε εργάσιμη ημέρα. Κατάργηση συνδρομής με ένα κλικ. Δεν πουλάμε ή μοιραζόμαστε ποτέ τη διεύθυνσή σας.
Δοκιμάστε τον εαυτό σας
Take the YaRN and Context Length Extension quiz
Άμεση ανάδραση σε κάθε απάντηση, και πιστοποιητικό με επαληθεύσιμο ID μόλις περάσετε το μάθημα.
Υποστηρίξτε τη δωρεάν εκπαίδευση AI. AI Understanding είναι μια μη κερδοσκοπική οργάνωση 501(c)(3) — χωρίς διαφημίσεις, χωρίς τοίχο πληρωμής, ποτέ. Κάντε μια δωρεά
Συχνές ερωτήσεις
Τι είναι το YaRN και η επέκταση μήκους περιβάλλοντος;
Το YaRN (ακόμη μια επέκταση RoPE) είναι μια αποτελεσματική τεχνική για την επέκταση του χρησιμοποιήσιμου παραθύρου περιβάλλοντος ενός μοντέλου πολύ πέρα από αυτό στο οποίο είχε εκπαιδευτεί. Αναβαθμίζει έξυπνα τις ενσωματώσεις περιστροφικής θέσης, έτσι ώστε ένα μοντέλο εκπαιδευμένο, για παράδειγμα, σε μάρκες 4K να μπορεί να χειριστεί 32K ή περισσότερα με ελάχιστη ρύθμιση.
Ποια μέθοδο κωδικοποίησης θέσης τροποποιεί το YaRN για να επεκτείνει το περιβάλλον;
Το YaRN, του οποίου το όνομα σημαίνει ακόμη μια επέκταση RoPE, αναβαθμίζει τις ενσωματώσεις περιστροφικής θέσης που χρησιμοποιούνται στα περισσότερα σύγχρονα LLM.
Τι πάει στραβά όταν ένα μοντέλο RoPE βλέπει ακολουθίες μεγαλύτερες από τη διάρκεια της προπόνησής του;
Οι θέσεις πέρα από την προπόνηση παράγουν γωνίες περιστροφής που δεν είδε ποτέ το μοντέλο, επομένως η συμπεριφορά προσοχής υποβαθμίζεται απότομα.
Πώς αντιμετωπίζει το YaRN διαφορετικές διαστάσεις συχνότητας RoPE;
Το YaRN χρησιμοποιεί μια ράμπα NTK-by-parts που παρεμβάλλει τα dims χαμηλής συχνότητας μεγάλου μήκους κύματος και αφήνει τα dims υψηλής συχνότητας μικρής εμβέλειας ως επί το πλείστον ανέπαφα.
Εκτός από την επανακλιμάκωση των συχνοτήτων, ποια πρόσθετη ρύθμιση εφαρμόζεται το YaRN;
Το YaRN προσθέτει μια κλιμάκωση θερμοκρασίας στα logit της προσοχής για να εξουδετερώσει τις μετατοπίσεις της εντροπίας που συμβαίνουν καθώς μεγαλώνει το περιβάλλον.
Ποιο είναι το βασικό πρακτικό πλεονέκτημα του YaRN έναντι της αφελούς παρεμβολής;
Το YaRN επιτυγχάνει ισχυρή ποιότητα μακροπρόθεσμου πλαισίου μετά από λεπτομέρεια σε ένα μικρό κλάσμα των δεδομένων που απαιτούν οι απλές μέθοδοι.
Συνέχισε να μαθαίνεις
Σχετικοί οδηγοί
Επιλέχθηκαν περισσότεροι οδηγοί για αυτό το θέμα