ΕπόμενοΕπόμενος οδηγός
Κανονικοποίηση στρώματος
Τεχνικά
Τεχνικός ΟΔΗΓΟΣ
Κανονικοποίηση RMSNorm και Pre-Layer
Το RMSNorm είναι ένα ελαφρύ επίπεδο κανονικοποίησης που επανακλιμακώνει τις ενεργοποιήσεις με βάση το μέσο τετράγωνο της ρίζας τους και θέσεις κανονικοποίησης πριν από το επίπεδο που βαίνουν πριν από κάθε υποστρώμα και όχι μετά.
Ακούστε αυτόν τον οδηγόαφήγηση με AI · ~2 min
Σε αυτήν τη σελίδα2 λεπτά ανάγνωση
Επισκόπηση
Together they make deep transformers train stably without warmup tricks.
Βαθιά κατάδυση
Το Standard LayerNorm αφαιρεί τον μέσο όρο και διαιρεί με την τυπική απόκλιση σε ένα διάνυσμα χαρακτηριστικών και, στη συνέχεια, εφαρμόζει μια κλίμακα και μετατόπιση. Το RMSNorm, που εισήχθη από τους Zhang και Sennrich το 2019, απορρίπτει εντελώς το μέσο-κέντρο και την προκατάληψη: απλά διαιρεί κάθε διάνυσμα με το ριζικό μέσο τετράγωνο των στοιχείων του και πολλαπλασιάζεται με ένα κέρδος ανά χαρακτηριστικό. Αυτό αφαιρεί ένα στατιστικό στοιχείο και πολλές λειτουργίες, μειώνοντας τον υπολογισμό κατά περίπου 10-50% στο επίπεδο κανόνα ενώ ταυτίζεται η ακρίβεια. Ξεχωριστά, η τοποθέτηση «Pre-LN» (κανόνας πριν από την προσοχή/MLP, με καθαρή υπολειπόμενη διαδρομή γύρω της) διατηρεί τα μεγέθη της κλίσης οριοθετημένα κατά την αρχικοποίηση, έτσι μοντέλα όπως το GPT-3, το LLaMA και το PaLM εκπαιδεύονται χωρίς χαρακώματα προθέρμανσης ρυθμού εκμάθησης που απαιτούσε ο αρχικός μετασχηματιστής Post-LN.
Υλοποίηση σε πραγματικό κόσμο
Τα LLaMA, Mistral και Qwen αντικαθιστούν όλα τα LayerNorm με RMSNorm για να μειώσουν την καθυστέρηση συμπερασμάτων σε κάθε διακριτικό
Το Pre-LN επιτρέπει στα μοντέλα τύπου GPT να εκπαιδεύονται χωρίς την προθέρμανση του ρυθμού εκμάθησης που χρειαζόταν ο μετασχηματιστής 2017 Post-LN
Η κανονικοποίηση QK χρησιμοποιεί το RMSNorm σε ερωτήματα προσοχής και κλειδιά για να σταματήσει την έκρηξη των logit σε μεγάλα μοντέλα
Οι φορητοί μετασχηματιστές και οι μετασχηματιστές ακμών υιοθετούν το RMSNorm επειδή η απόρριψη του μέσου όρου και της προκατάληψης μειώνει την κίνηση της μνήμης
Το μέλλον της κανονικοποίησης RMSNorm και Pre-Layer
Το RMSNorm είναι πλέον το προεπιλεγμένο στα περισσότερα LLM ανοιχτού βάρους (LLaMA, Mistral, Qwen, Gemma), οπότε περιμένετε να παραμείνει στάνταρ. Η έρευνα βελτιώνει τη συνταγή: Το QK-norm εφαρμόζει το RMSNorm σε ερωτήματα προσοχής και κλειδιά για να δαμάσει την ανάπτυξη logit, και ορισμένα εργαστήρια συνδυάζουν το pre- και το post-norm («σάντουιτς» ή «peri-LN») για επιπλέον σταθερότητα σε κλίμακα τρισεκατομμυρίων παραμέτρων. Οι πυρήνες υλικού συνεχίζουν να συγχωνεύουν τη λειτουργία για ταχύτητα.
Κάνοντάς το στην πράξη
Γιατί έχει σημασία
- Κόστος και προϋπολογισμός. Οι αποφάσεις για την αρχιτεκτονική καθορίζουν την απόδοση και το λειτουργικό κόστος για χρόνια.
- Σαφέστερες αποφάσεις. Η τεχνική εκπαίδευση βοηθά τις ομάδες να επιλέξουν τη σωστή στοίβα, όχι μόνο τη νεότερη.
- Ελεγχος ποιότητας. Οι καλύτερες επιλογές μηχανικής μειώνουν τα περιστατικά αξιοπιστίας στην παραγωγή.
Προσέξτε
- Η βελτιστοποίηση ενός σημείου αναφοράς μπορεί να κρύψει ευρύτερες αδυναμίες του συστήματος.
- Το κόστος υποδομής και συντήρησης συχνά υποτιμάται.
- Τα κενά ασφάλειας και παρατηρητικότητας μπορούν να αυξηθούν καθώς τα συστήματα γίνονται πιο πολύπλοκα.
Επόμενα βήματα
- Καθορίστε τους στόχους καθυστέρησης, ποιότητας και κόστους πριν από την εφαρμογή.
- Σημείο αναφοράς υπό ρεαλιστικές συνθήκες φορτίου και δεδομένων.
- Παρακολούθηση οργάνου για σφάλματα, μετατόπιση και επιπτώσεις από τον χρήστη.
- Προετοιμάστε διαδρομές επαναφοράς και απόκρισης συμβάντος πριν την κλιμάκωση.
Συνεχίστε την εξερεύνηση
Δωρεάν ενημερωτικό δελτίο
Λάβετε την καθημερινή ενημέρωση AI
Τρία επαληθευμένα νέα AI κάθε πρωί της εβδομάδας, γραμμένα σε απλή αγγλική. Δωρεάν για πάντα, χωρίς διαφημίσεις.
Ένα email κάθε εργάσιμη ημέρα. Κατάργηση συνδρομής με ένα κλικ. Δεν πουλάμε ή μοιραζόμαστε ποτέ τη διεύθυνσή σας.
Δοκιμάστε τον εαυτό σας
Take the RMSNorm and Pre-Layer Normalization quiz
Άμεση ανάδραση σε κάθε απάντηση, και πιστοποιητικό με επαληθεύσιμο ID μόλις περάσετε το μάθημα.
Υποστηρίξτε τη δωρεάν εκπαίδευση AI. AI Understanding είναι μια μη κερδοσκοπική οργάνωση 501(c)(3) — χωρίς διαφημίσεις, χωρίς τοίχο πληρωμής, ποτέ. Κάντε μια δωρεά
Συχνές ερωτήσεις
What is RMSNorm and Pre-Layer Normalization?
Το RMSNorm είναι ένα ελαφρύ επίπεδο κανονικοποίησης που επανακλιμακώνει τις ενεργοποιήσεις με βάση το μέσο τετράγωνο της ρίζας τους και θέσεις κανονικοποίησης πριν από το επίπεδο που βαίνουν πριν από κάθε υποστρώμα και όχι μετά. Μαζί κάνουν τους βαθιά μετασχηματιστές να εκπαιδεύονται σταθερά χωρίς κόλπα προθέρμανσης.
Τι παραλείπει το RMSNorm σε σύγκριση με το τυπικό LayerNorm;
Το RMSNorm παραλείπει τον υπολογισμό και την αφαίρεση του μέσου όρου, κανονικοποιώντας μόνο με το ριζικό μέσο τετράγωνο των ενεργοποιήσεων.
Με ποια ποσότητα διαιρεί το RMSNorm κάθε διάνυσμα ενεργοποίησης;
Το RMSNorm διαιρεί με το sqrt του μέσου όρου των τετραγωνικών στοιχείων, δηλαδή το μέσο τετράγωνο της ρίζας και, στη συνέχεια, εφαρμόζει ένα μαθημένο κέρδος.
What gradient behavior does Pre-LN support at initialization in deep Transformers?
Xiong et al. analyze gradient behavior and show Pre-LN gradients are better behaved at initialization; this does not guarantee warmup-free training for every setup.
Σε ένα μπλοκ Pre-LN, ποια διαδρομή αφήνει σκόπιμα ανέγγιχτη το επίπεδο κανονικοποίησης;
Το Pre-LN κανονικοποιεί την είσοδο σε ένα υποστρώμα, αλλά η υπολειπόμενη συντόμευση την παρακάμπτει, διατηρώντας έναν καθαρό αυτοκινητόδρομο με κλίση.
Ποιες σύγχρονες οικογένειες μοντέλων ανοιχτού βάρους χρησιμοποιούν το RMSNorm από προεπιλογή;
Το RMSNorm έγινε η τυπική κανονικοποίηση στα LLaMA, Mistral, Qwen, Gemma και στα πιο πρόσφατα LLM.
Συνέχισε να μαθαίνεις
Σχετικοί οδηγοί
Επιλέχθηκαν περισσότεροι οδηγοί για αυτό το θέμα