SmoothQuant και Activation Quantization
Το SmoothQuant είναι μια τεχνική που καθιστά δυνατή τη συμπίεση μεγάλων μοντέλων γλώσσας σε ακέραιους αριθμούς 8-bit τόσο για βάρη όσο και για ενεργοποιήσεις χωρίς επανεκπαίδευση.
Επισκόπηση
It matters because activations in big models contain extreme outliers that normally wreck low-precision math, and SmoothQuant tames them.
Βαθιά κατάδυση
Όταν συρρικνώνετε ένα μοντέλο από 16-bit floats σε ακέραιους αριθμούς 8-bit, τα βάρη συμπιέζονται εύκολα, αλλά οι ενεργοποιήσεις είναι προβληματικές: ορισμένα κανάλια έχουν τιμές 10 έως 100 φορές μεγαλύτερες από τα υπόλοιπα, και το να τα εξαναγκάζουν σε ένα χονδροειδές ακέραιο πλέγμα καταστρέφει την ακρίβεια. SmoothQuant, που εισήχθη από τους Xiao et al. το 2022, παρατηρεί ότι τα βάρη είναι ομαλά και εύκολο να κβαντιστούν ενώ οι ενεργοποιήσεις είναι αιχμηρές. Έτσι, μετατοπίζει μαθηματικά τη δυσκολία: διαιρεί τα κανάλια ενεργοποίησης με μια κλίμακα ανά κανάλι και πολλαπλασιάζει τα αντίστοιχα βάρη με την ίδια κλίμακα. Οι δύο λειτουργίες ακυρώνονται, αφήνοντας αμετάβλητη την απόδοση του μοντέλου, αλλά τώρα και οι δύο τανυστές βρίσκονται σε φιλικά εύρη. Το αποτέλεσμα είναι συμπέρασμα W8A8 (βάρη και ενεργοποιήσεις 8 bit) με σχεδόν μηδενική απώλεια ακρίβειας και περίπου 2 φορές επιτάχυνση και εξοικονόμηση μνήμης.
Τεχνική διορατικότητα
Το βασικό κόλπο είναι ένας παράγοντας εξομάλυνσης ανά κανάλι s που υπολογίζεται ως s = max(|X|)^alpha / max(|W|)^(1-alpha). Οι ενεργοποιήσεις κλιμακώνονται κατά 1/s και τα βάρη κατά s, έτσι το γινόμενο του πίνακα XW διατηρείται. Επειδή η κλιμάκωση απορροφάται εκτός σύνδεσης στα βάρη του προηγούμενου επιπέδου ή σε μια συντηγμένη λειτουργία, προσθέτει μηδενικό κόστος χρόνου εκτέλεσης. Η υπερπαράμετρος άλφα (συχνά 0,5) ελέγχει πόσο το ακραίο φορτίο μετατοπίζεται από τις ενεργοποιήσεις στα βάρη.
Στρατηγικός αντίκτυπος
Κόστος και προϋπολογισμός
Οι αποφάσεις για την αρχιτεκτονική καθορίζουν την απόδοση και το λειτουργικό κόστος για χρόνια.
Σαφέστερες αποφάσεις
Η τεχνική εκπαίδευση βοηθά τις ομάδες να επιλέξουν τη σωστή στοίβα, όχι μόνο τη νεότερη.
Ελεγχος ποιότητας
Οι καλύτερες επιλογές μηχανικής μειώνουν τα περιστατικά αξιοπιστίας στην παραγωγή.
The Future of SmoothQuant and Activation Quantization
Η SmoothQuant διαπίστωσε ότι οι ακραίες τιμές ενεργοποίησης είναι μεταναστευτικές και όχι αναπόφευκτες και αυτή η ιδέα τώρα βασίζεται στην παραγωγή υπηρεσιών INT8 και FP8. Αναμένετε ότι η εξομάλυνση θα συνδυαστεί με πιο λεπτομερή σχήματα όπως η κβαντοποίηση ανά ομάδα, η μαθημένη κλίμακα και η έρευνα ενεργοποίησης 4 bit (π. Καθώς το υλικό FP8 (Hopper, Blackwell) ωριμάζει, η εξισορρόπηση σε στυλ εξομάλυνσης θα συνεχίσει να ψήνεται σε αγωγούς μεταγλωττιστή και μηχανών συμπερασμάτων, ώστε η κβαντοποίηση να παραμένει σχεδόν δωρεάν.
Υλοποίηση σε πραγματικό κόσμο
Εξυπηρέτηση ενός LLM παραμέτρων 70B στο W8A8 σε λιγότερες GPU μειώνοντας στο μισό το κόστος της μνήμης και του πολλαπλασιασμού matrix
Ενεργοποίηση συμπερασμάτων INT8 σε πυρήνες τανυστήρα NVIDIA Hopper/Blackwell που επιταχύνουν εγγενώς μαθηματικά ακέραιων αριθμών 8 bit
Ανάπτυξη μοντέλων συνομιλίας σε τερματικά σημεία cloud με περιορισμένο κόστος, όπου ο διπλασιασμός της απόδοσης μειώνει άμεσα τον λογαριασμό ανά διακριτικό
Συμπίεση κωδικοποιητών μετασχηματιστών για ομιλία ή μετάφραση στη συσκευή όπου οι πυρήνες 8-bit λειτουργούν πιο γρήγορα και πιο δροσερά
Κίνδυνοι & προστατευτικά κιγκλιδώματα
Η βελτιστοποίηση ενός σημείου αναφοράς μπορεί να κρύψει ευρύτερες αδυναμίες του συστήματος.
Το κόστος υποδομής και συντήρησης συχνά υποτιμάται.
Τα κενά ασφάλειας και παρατηρητικότητας μπορούν να αυξηθούν καθώς τα συστήματα γίνονται πιο πολύπλοκα.
Οδικός Χάρτης Εφαρμογής
Καθορίστε τους στόχους καθυστέρησης, ποιότητας και κόστους πριν από την εφαρμογή.
Σημείο αναφοράς υπό ρεαλιστικές συνθήκες φορτίου και δεδομένων.
Παρακολούθηση οργάνου για σφάλματα, μετατόπιση και επιπτώσεις από τον χρήστη.
Προετοιμάστε διαδρομές επαναφοράς και απόκρισης συμβάντος πριν την κλιμάκωση.
Συνεχίστε την εξερεύνηση
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the SmoothQuant and Activation Quantization quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Επόμενος οδηγός
Ενεργοποίηση Διεύθυνσης και Μηχανικής Αντιπροσώπευσης
Συχνές ερωτήσεις
What is SmoothQuant and Activation Quantization?
Το SmoothQuant είναι μια τεχνική που καθιστά δυνατή τη συμπίεση μεγάλων μοντέλων γλώσσας σε ακέραιους αριθμούς 8-bit τόσο για βάρη όσο και για ενεργοποιήσεις χωρίς επανεκπαίδευση. Έχει σημασία γιατί οι ενεργοποιήσεις σε μεγάλα μοντέλα περιέχουν ακραίες ακραίες τιμές που συνήθως καταστρέφουν μαθηματικά χαμηλής ακρίβειας και το SmoothQuant τα εξημερώνει.
Ποιο πρόβλημα αντιμετωπίζει συγκεκριμένα το SmoothQuant στο συμπέρασμα χαμηλής ακρίβειας;
Το SmoothQuant στοχεύει τις μεγάλες ακραίες τιμές που εμφανίζονται σε ορισμένα κανάλια ενεργοποίησης, τα οποία διαφορετικά καταστρέφουν την ακρίβεια όταν οι ενεργοποιήσεις κβαντίζονται σε 8 bit.
Πώς το SmoothQuant διευκολύνει τον κβαντισμό των ενεργοποιήσεων;
Διαιρεί τα κανάλια ενεργοποίησης με μια κλίμακα ανά κανάλι και πολλαπλασιάζει τα βάρη που ταιριάζουν με αυτήν την κλίμακα, έτσι το γινόμενο παραμένει αμετάβλητο αλλά και οι δύο τανυστές γίνονται πιο εύκολο να κβαντιστούν.
Τι σημαίνει η σημείωση W8A8;
Το W8A8 υποδηλώνει κβαντοποίηση 8-bit και για τα βάρη (W) και για τις ενεργοποιήσεις (A), το καθεστώς SmoothQuant επιτρέπει με ελάχιστη απώλεια ακρίβειας.
Γιατί η κλιμάκωση του SmoothQuant ουσιαστικά δεν προσθέτει επιβάρυνση χρόνου εκτέλεσης;
Οι κλίμακες εξομάλυνσης διπλώνονται στα βάρη του προηγούμενου στρώματος ή σε μια συγχωνευμένη λειτουργία εκ των προτέρων, έτσι ώστε να μην γίνεται επιπλέον υπολογισμός στο συμπέρασμα.
Τι ρόλο παίζει η υπερπαράμετρος άλφα στο SmoothQuant;
Το Alpha (συνήθως 0,5) εξισορροπεί τον παράγοντα εξομάλυνσης, αποφασίζοντας πόσο από τη δυσκολία κβαντισμού μετακινηθεί από τις ενεργοποιήσεις και στα βάρη.