ΕπόμενοΕπόμενος οδηγός
Λειτουργίες επιρροής για απόδοση δεδομένων εκπαίδευσης
Τεχνικά
Τεχνικός ΟΔΗΓΟΣ
GPTQ και AWQ μετα-προπονητική κβαντοποίηση
Το GPTQ και το AWQ είναι δύο κορυφαίες μέθοδοι για τη συρρίκνωση μοντέλων γλώσσας που έχουν ήδη εκπαιδευτεί σε ακρίβεια 4 bit, ώστε να λειτουργούν σε φθηνότερο, μικρότερο υλικό.
Ακούστε αυτόν τον οδηγόαφήγηση με AI · ~2 min
Σε αυτήν τη σελίδα2 λεπτά ανάγνωση
Επισκόπηση
Αυτός είναι ο λόγος για τον οποίο μπορείτε να εκτελέσετε ένα ικανό μοντέλο σε μια GPU μεμονωμένου καταναλωτή αντί για ένα rack κέντρου δεδομένων.
Βαθιά κατάδυση
Η κβαντοποίηση μετά την εκπαίδευση (PTQ) συμπιέζει ένα ολοκληρωμένο μοντέλο χωρίς να το εκπαιδεύει εκ νέου, χαρτογραφώντας βάρη υψηλής ακρίβειας έως 4 bit για να φτάσει στο τέταρτο της μνήμης. Η πρόκληση είναι να γίνει αυτό χωρίς να καταστρέφεται η ακρίβεια. Το GPTQ (βελτίωση του OBQ) κβαντίζει τα βάρη επίπεδο προς στρώμα, χρησιμοποιώντας πληροφορίες δεύτερης τάξης από ένα μικρό σύνολο δεδομένων βαθμονόμησης για να προσαρμόσει τα υπόλοιπα βάρη και να αντισταθμίσει κάθε σφάλμα στρογγυλοποίησης. Το AWQ (Activation-aware Weight Quantization) έχει διαφορετική οπτική γωνία: παρατηρεί ότι ένα μικρό κλάσμα καναλιών βάρους είναι δυσανάλογα σημαντικό, αναγνωρίζεται εξετάζοντας τα μεγέθη ενεργοποίησης και προστατεύει αυτά τα σημαντικά κανάλια κλιμακώνοντάς τα αντί να τα κβαντοποιούν επιθετικά. Και τα δύο επιτρέπουν σε μοντέλα όπως το Llama να εκτελούνται σε 4-bit και εργαλεία όπως το vLLM, το llama.cpp και το AutoGPTQ τα έχουν κάνει mainstream για τοπικά και οικονομικά συμπεράσματα.
Υλοποίηση σε πραγματικό κόσμο
Εκτέλεση ενός μοντέλου Llama 70 δισεκατομμυρίων παραμέτρων σε μια ενιαία GPU καταναλωτή 24 GB χρησιμοποιώντας βάρη GPTQ 4 bit.
Τα κβαντισμένα μοντέλα AWQ εξυπηρετούνται σε υψηλή απόδοση στο vLLM για οικονομικά αποδοτικά API παραγωγής.
Το llama.cpp χρησιμοποιεί κβαντισμένα βάρη GGUF για την εκτέλεση μοντέλων γλώσσας τοπικά σε επεξεργαστή φορητού υπολογιστή.
Οι βιβλιοθήκες AutoGPTQ και AutoAWQ του Hugging Face επιτρέπουν στους προγραμματιστές να ποσοτικοποιούν ένα μοντέλο που έχει ληφθεί σε λίγες γραμμές κώδικα.
Το μέλλον του GPTQ και του AWQ μετα-προπονητική κβαντοποίηση
Η κβαντοποίηση ωθεί κάτω από τα 4 bit προς τα σχήματα 3-bit, 2-bit και μικτής ακρίβειας, συχνά σε συνδυασμό με την αραιότητα. Αναμένετε στενότερη σύζευξη με κινητήρες εξυπηρέτησης, ώστε η κβαντοποίηση, η συμπίεση της κρυφής μνήμης KV και η κερδοσκοπική αποκωδικοποίηση να συνεργαστούν. Η υποστήριξη υλικού για μορφές χαμηλών bit όπως NVFP4 και MXFP4 ωριμάζει και τα αυτοματοποιημένα εργαλεία θα επιλέγουν όλο και περισσότερο πλάτη bit ανά επίπεδο. Ο γενικός στόχος είναι σχεδόν χωρίς απώλειες 4-bit (και χαμηλότερο) ως προεπιλογή, καθιστώντας τα ισχυρά μοντέλα φθηνά για εξυπηρέτηση παντού.
Κάνοντάς το στην πράξη
Γιατί έχει σημασία
- Κόστος και προϋπολογισμός. Οι αποφάσεις για την αρχιτεκτονική καθορίζουν την απόδοση και το λειτουργικό κόστος για χρόνια.
- Σαφέστερες αποφάσεις. Η τεχνική εκπαίδευση βοηθά τις ομάδες να επιλέξουν τη σωστή στοίβα, όχι μόνο τη νεότερη.
- Ελεγχος ποιότητας. Οι καλύτερες επιλογές μηχανικής μειώνουν τα περιστατικά αξιοπιστίας στην παραγωγή.
Προσέξτε
- Η βελτιστοποίηση ενός σημείου αναφοράς μπορεί να κρύψει ευρύτερες αδυναμίες του συστήματος.
- Το κόστος υποδομής και συντήρησης συχνά υποτιμάται.
- Τα κενά ασφάλειας και παρατηρητικότητας μπορούν να αυξηθούν καθώς τα συστήματα γίνονται πιο πολύπλοκα.
Επόμενα βήματα
- Καθορίστε τους στόχους καθυστέρησης, ποιότητας και κόστους πριν από την εφαρμογή.
- Σημείο αναφοράς υπό ρεαλιστικές συνθήκες φορτίου και δεδομένων.
- Παρακολούθηση οργάνου για σφάλματα, μετατόπιση και επιπτώσεις από τον χρήστη.
- Προετοιμάστε διαδρομές επαναφοράς και απόκρισης συμβάντος πριν την κλιμάκωση.
Συνεχίστε την εξερεύνηση
Δωρεάν ενημερωτικό δελτίο
Λάβετε την καθημερινή ενημέρωση AI
Τρία επαληθευμένα νέα AI κάθε πρωί της εβδομάδας, γραμμένα σε απλή αγγλική. Δωρεάν για πάντα, χωρίς διαφημίσεις.
Ένα email κάθε εργάσιμη ημέρα. Κατάργηση συνδρομής με ένα κλικ. Δεν πουλάμε ή μοιραζόμαστε ποτέ τη διεύθυνσή σας.
Δοκιμάστε τον εαυτό σας
Take the GPTQ and AWQ Post-Training Quantization quiz
Άμεση ανάδραση σε κάθε απάντηση, και πιστοποιητικό με επαληθεύσιμο ID μόλις περάσετε το μάθημα.
Υποστηρίξτε τη δωρεάν εκπαίδευση AI. AI Understanding είναι μια μη κερδοσκοπική οργάνωση 501(c)(3) — χωρίς διαφημίσεις, χωρίς τοίχο πληρωμής, ποτέ. Κάντε μια δωρεά
Συχνές ερωτήσεις
Τι είναι η κβαντοποίηση μετά την εκπαίδευση GPTQ και AWQ;
Το GPTQ και το AWQ είναι δύο κορυφαίες μέθοδοι για τη συρρίκνωση μοντέλων γλώσσας που έχουν ήδη εκπαιδευτεί σε ακρίβεια 4 bit, ώστε να λειτουργούν σε φθηνότερο, μικρότερο υλικό. Αυτός είναι ο λόγος για τον οποίο μπορείτε να εκτελέσετε ένα ικανό μοντέλο σε μια GPU μεμονωμένου καταναλωτή αντί για ένα rack κέντρου δεδομένων.
Τι σημαίνει «κβαντοποίηση μετά την προπόνηση»;
Η κβαντοποίηση μετά την εκπαίδευση μειώνει την ακρίβεια των βαρών ενός τελικού μοντέλου (π.χ. σε 4 bit) χωρίς να το εκπαιδεύει εκ νέου από την αρχή.
Ποιες πληροφορίες χρησιμοποιεί το GPTQ για να αντισταθμίσει τα σφάλματα στρογγυλοποίησης κατά τον κβαντισμό;
Το GPTQ χρησιμοποιεί ένα κατά προσέγγιση Hessian για να κατανοήσει πώς η κβαντοποίηση ενός βάρους επηρεάζει την απώλεια και, στη συνέχεια, προσαρμόζει τα υπόλοιπα βάρη για να αντισταθμίσει.
Ποια βασική γνώση οδηγεί το AWQ (Activation-aware Weight Quantization);
Το AWQ προσδιορίζει σημαντικά κανάλια βάρους χρησιμοποιώντας μεγέθη ενεργοποίησης και τα προστατεύει μέσω κλιμάκωσης, καθώς μερικά κανάλια έχουν δυσανάλογη σημασία.
Περίπου πόση μνήμη εξοικονομεί η κβαντοποίηση 4 bit έναντι των βαρών των 16 bit;
Η μετάβαση από 16 bit σε 4 bit ανά βάρος μειώνει τη μνήμη βάρους σε περίπου ένα τέταρτο, περίπου μια μείωση 4 φορές.
Γιατί και το GPTQ και το AWQ συνήθως κβαντίζουν τα βάρη, αλλά διατηρούν τις ενεργοποιήσεις με μεγαλύτερη ακρίβεια;
Τα βάρη είναι το κύριο κόστος μνήμης, ενώ οι ενεργοποιήσεις είναι πιο ευαίσθητες στην απώλεια ακριβείας, επομένως η κβάντωση μόνο με βάρος είναι το κοινό γλυκό σημείο.
Συνέχισε να μαθαίνεις
Σχετικοί οδηγοί
Επιλέχθηκαν περισσότεροι οδηγοί για αυτό το θέμα