SwiGLU και Gated Activations
Το SwiGLU είναι μια περιφραγμένη συνάρτηση ενεργοποίησης που πολλαπλασιάζει μια γραμμική προβολή της εισόδου με μια δεύτερη προβολή που ενεργοποιείται από το Swish, ενεργώντας ως μια μαθησιακή, εξαρτώμενη από δεδομένα πύλη μέσα στα στρώματα τροφοδοσίας του μετασχηματιστή.
Επισκόπηση
It consistently improves language-model quality, which is why nearly every modern LLM uses it.
Βαθιά κατάδυση
Ένα τυπικό μπλοκ τροφοδοσίας μετασχηματιστή είναι δύο γραμμικά στρώματα με ένα ReLU ή GELU μεταξύ τους. Gated Linear Units, που προτείνονται από τους Dauphin et al. το 2016, χωρίστε την πρώτη προβολή σε δύο μισά και χρησιμοποιήστε το ένα μισό για να περιορίσετε το άλλο μέσω πολλαπλασιασμού βάσει στοιχείων. Το SwiGLU, που διαδόθηκε από τον Noam Shazeer το 2020, χρησιμοποιεί τη συνάρτηση Swish (SiLU) για αυτήν την πύλη: έξοδος = (Swish(xW) * (xV)) W2, με τρεις πίνακες βάρους αντί για δύο. Η πύλη επιτρέπει στο δίκτυο να διαβιβάζει ή να αποκρύπτει επιλεκτικά πληροφορίες ανά διάσταση. Επειδή η προσθήκη του τρίτου πίνακα αυξάνει τις παραμέτρους, οι υλοποιήσεις συρρικνώνουν την κρυφή διάσταση περίπου στα δύο τρίτα, έτσι ώστε ο συνολικός υπολογισμός να παραμένει συγκρίσιμος με ένα GELU MLP. Τα πειράματα του Shazeer έδειξαν μετρήσιμα κέρδη αμηχανίας και τα LLaMA, PaLM και Mistral το υιοθέτησαν όλα.
Τεχνική διορατικότητα
Το Swish είναι x * sigmoid(beta*x), μια ομαλή, μη μονότονη συνάρτηση που, σε αντίθεση με το ReLU, επιτρέπει μικρές αρνητικές τιμές να περάσουν. Στο SwiGLU η διακλάδωση «πύλης» Swish(xW) παράγει τιμές κοντά στο 0 ή το 1 που πολλαπλασιάζουν τον κλάδο «τιμής» xV ως προς το στοιχείο, έτσι η συνεισφορά κάθε κρυφής μονάδας διαμορφώνεται από ένα μαθημένο, εξαρτώμενο από την είσοδο σήμα. Ο τρίτος πίνακας βάρους είναι το κόστος. Το κόλπο κρυφού μεγέθους των δύο τρίτων διατηρεί τον προϋπολογισμό του FLOP προσαρμοσμένο σε ένα στρώμα τροφοδοσίας βανίλιας.
Στρατηγικός αντίκτυπος
Κόστος και προϋπολογισμός
Οι αποφάσεις για την αρχιτεκτονική καθορίζουν την απόδοση και το λειτουργικό κόστος για χρόνια.
Σαφέστερες αποφάσεις
Η τεχνική εκπαίδευση βοηθά τις ομάδες να επιλέξουν τη σωστή στοίβα, όχι μόνο τη νεότερη.
Ελεγχος ποιότητας
Οι καλύτερες επιλογές μηχανικής μειώνουν τα περιστατικά αξιοπιστίας στην παραγωγή.
Το μέλλον του SwiGLU και των Gated Activations
Το SwiGLU είναι εδραιωμένο ως το προεπιλεγμένο MLP σε LLM ανοιχτού βάρους και είναι απίθανο να μετατοπιστεί σύντομα. Οι ενεργές κατευθύνσεις περιλαμβάνουν παραλλαγές GeGLU και ReGLU, συγχωνευμένους πυρήνες GPU που υπολογίζουν και τις δύο προβολές σε ένα πέρασμα και συνδυασμό κλειστών MLP με μείγμα ειδικών, ώστε κάθε ειδικός να είναι ο ίδιος ένα μπλοκ SwiGLU. Οι ερευνητές μελετούν επίσης γιατί το gating βοηθά στη βελτιστοποίηση, με στόχο να σχεδιάσουν ακόμη φθηνότερες πύλες.
Υλοποίηση σε πραγματικό κόσμο
Τα LLaMA, PalM και Mistral αντικαθιστούν το στρώμα τροφοδοσίας GELU με SwiGLU για να μειώσουν την αμηχανία στον ίδιο υπολογισμό
Η κρυφή διάσταση έχει κλιμακωθεί στα δύο τρίτα περίπου (8/3 d), έτσι ώστε η επιπλέον μήτρα πύλης να μην διογκώνει τα FLOP
Τα μοντέλα Mixture of Experts, όπως το Mixtral, χρησιμοποιούν μπλοκ SwiGLU ως το δίκτυο τροφοδοσίας ανά ειδικό
Οι μετασχηματιστές Vision και multimodal δανείζονται την πύλη GeGLU/SwiGLU για να βελτιώσουν τα υποστρώματα MLP τους
Κίνδυνοι & προστατευτικά κιγκλιδώματα
Η βελτιστοποίηση ενός σημείου αναφοράς μπορεί να κρύψει ευρύτερες αδυναμίες του συστήματος.
Το κόστος υποδομής και συντήρησης συχνά υποτιμάται.
Τα κενά ασφάλειας και παρατηρητικότητας μπορούν να αυξηθούν καθώς τα συστήματα γίνονται πιο πολύπλοκα.
Οδικός Χάρτης Εφαρμογής
Καθορίστε τους στόχους καθυστέρησης, ποιότητας και κόστους πριν από την εφαρμογή.
Σημείο αναφοράς υπό ρεαλιστικές συνθήκες φορτίου και δεδομένων.
Παρακολούθηση οργάνου για σφάλματα, μετατόπιση και επιπτώσεις από τον χρήστη.
Προετοιμάστε διαδρομές επαναφοράς και απόκρισης συμβάντος πριν την κλιμάκωση.
Συνεχίστε την εξερεύνηση
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the SwiGLU and Gated Activations quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Επόμενος οδηγός
Ανταλλαγές επανυπολογισμού ενεργοποίησης
Συχνές ερωτήσεις
What is SwiGLU and Gated Activations?
Το SwiGLU είναι μια περιφραγμένη συνάρτηση ενεργοποίησης που πολλαπλασιάζει μια γραμμική προβολή της εισόδου με μια δεύτερη προβολή που ενεργοποιείται από το Swish, ενεργώντας ως μια μαθησιακή, εξαρτώμενη από δεδομένα πύλη μέσα στα στρώματα τροφοδοσίας του μετασχηματιστή. Βελτιώνει σταθερά την ποιότητα του μοντέλου γλώσσας, γι' αυτό το χρησιμοποιεί σχεδόν κάθε σύγχρονο LLM.
Ποια βασική λειτουργία ορίζει μια περιφραγμένη γραμμική μονάδα;
Μια GLU πολλαπλασιάζει μια προβολή τιμής με μια προβολή πύλης ως προς το στοιχείο, επιτρέποντας στο δίκτυο να ελέγχει τη ροή πληροφοριών ανά διάσταση.
Ποια λειτουργία ενεργοποίησης χρησιμοποιεί το SwiGLU για τον κλάδο πύλης του;
Το SwiGLU χρησιμοποιεί το Swish, που ονομάζεται επίσης SiLU, που ορίζεται ως x * sigmoid(beta*x), για τον κλάδο πύλης.
Πόσες μήτρες βάρους χρησιμοποιεί ένα μπλοκ τροφοδοσίας SwiGLU;
Το SwiGLU χρειάζεται τρεις πίνακες: την προβολή πύλης, την προβολή τιμής και την προβολή εξόδου.
Γιατί η κρυφή διάσταση συνήθως κλιμακώνεται στα δύο τρίτα περίπου στα επίπεδα SwiGLU;
Ο τρίτος πίνακας θα διόγκωνε διαφορετικά τον υπολογισμό, επομένως η συρρίκνωση του κρυφού μεγέθους σε περίπου 8/3 d διατηρεί τον προϋπολογισμό ταιριαστό.
Ποιος έκανε δημοφιλή το SwiGLU για στρώματα τροφοδοσίας μετασχηματιστών το 2020;
Το σημείωμα του Noam Shazeer για το 2020 «GLU Variants Improve Transformer» παρουσίασε το SwiGLU και έδειξε τα οφέλη της αμηχανίας του.