ΕπόμενοΕπόμενος οδηγός
Έξοδοι μοντέλου γλώσσας υδατογράφησης
Τεχνικά
Τεχνικός ΟΔΗΓΟΣ
Μοντέλα 1-bit και τριαδικού BitNet
Το BitNet είναι η γραμμή έρευνας του Microsoft που δείχνει ότι τα μεγάλα μοντέλα γλώσσας μπορούν να εκπαιδευτούν με βάρη που περιορίζονται σε μόλις 1 bit ή τρεις τιμές στην τριμερή περίπτωση.
Ακούστε αυτόν τον οδηγόαφήγηση με AI · ~2 min
Σε αυτήν τη σελίδα2 λεπτά ανάγνωση
Επισκόπηση
This slashes memory and energy use dramatically while keeping surprisingly strong accuracy.
Βαθιά κατάδυση
Τα συμβατικά μοντέλα αποθηκεύουν κάθε βάρος ως αριθμό 16 bit. Το BitNet τις αντικαθιστά με ακραίες αναπαραστάσεις χαμηλών bit. Η επιδραστική παραλλαγή BitNet b1.58 χρησιμοποιεί τριμερή βάρη, καθεμία από τις οποίες περιορίζεται σε -1, 0 ή +1, τα οποία έχουν περίπου 1,58 bit πληροφοριών ανά βάρος (βάση καταγραφής 2 από 3). Η κρίσιμη ιδέα είναι ότι το μοντέλο εκπαιδεύεται από την αρχή με αυτούς τους περιορισμούς, δεν κβαντοποιείται στη συνέχεια, έτσι μαθαίνει να είναι στιβαρό με περιορισμένη ακρίβεια. Επειδή τα βάρη είναι μόλις -1, 0 ή +1, οι ακριβοί πολλαπλασιασμοί στα μαθηματικά μήτρας συμπίπτουν σε προσθέσεις και αφαιρέσεις. Το αποτέλεσμα είναι πολύ χαμηλότερο εύρος ζώνης μνήμης, κατανάλωση ενέργειας και καθυστέρηση, με την τιμή 0 να επιτρέπει επίσης την αραιότητα, ενώ όλα αυτά ταιριάζουν με μοντέλα πλήρους ακρίβειας σε συγκρίσιμα μεγέθη σε πολλά σημεία αναφοράς.
Υλοποίηση σε πραγματικό κόσμο
Το BitNet b1.58 2B4T του Microsoft λειτουργεί αποτελεσματικά σε CPU, επιτρέποντας την εξαγωγή συμπερασμάτων LLM χωρίς αποκλειστική GPU.
Βοηθοί στη συσκευή που χωρούν ένα ικανό μοντέλο στην περιορισμένη μνήμη ενός τηλεφώνου χάρη στα βάρη ~1,58 bit.
Μείωση της ενέργειας συμπερασμάτων και του κόστους άνθρακα για υπηρεσίες API μεγάλου όγκου αντικαθιστώντας τους πολλαπλασιαστές κινητής υποδιαστολής με προσθήκες.
Αναπτύξεις άκρων (IoT, ενσωματωμένο υλικό) όπου τα τριαδικά βάρη καθιστούν εφικτή την κατανόηση της τοπικής γλώσσας μέσα σε περιορισμένους προϋπολογισμούς ενέργειας.
Το μέλλον των μοντέλων 1-bit και τριαδικού BitNet
Το BitNet δείχνει προς ένα μέλλον όπου τα ικανά μοντέλα θα λειτουργούν σε τηλέφωνα, φορητούς υπολογιστές και συσκευές αιχμής χωρίς GPU κέντρου δεδομένων. Το κύριο σημείο συμφόρησης είναι το υλικό: τα σημερινά τσιπ είναι κατασκευασμένα για μαθηματικά κινητής υποδιαστολής, επομένως οι εξειδικευμένοι επιταχυντές βελτιστοποιημένοι για τριμερείς λειτουργίες μόνο με προσθήκη θα μπορούσαν να πολλαπλασιάσουν τα οφέλη. Περιμένετε περισσότερες εγγενείς αρχιτεκτονικές 1 bit, μεγαλύτερα μοντέλα σε στυλ BitNet και ενσωμάτωση σε βοηθούς στη συσκευή όπου η διάρκεια ζωής της μπαταρίας και το απόρρητο έχουν σημασία, δυνητικά αναδιαμορφώνοντας τα οικονομικά συμπεράσματα της τεχνητής νοημοσύνης.
Κάνοντάς το στην πράξη
Γιατί έχει σημασία
- Κόστος και προϋπολογισμός. Οι αποφάσεις για την αρχιτεκτονική καθορίζουν την απόδοση και το λειτουργικό κόστος για χρόνια.
- Σαφέστερες αποφάσεις. Η τεχνική εκπαίδευση βοηθά τις ομάδες να επιλέξουν τη σωστή στοίβα, όχι μόνο τη νεότερη.
- Ελεγχος ποιότητας. Οι καλύτερες επιλογές μηχανικής μειώνουν τα περιστατικά αξιοπιστίας στην παραγωγή.
Προσέξτε
- Η βελτιστοποίηση ενός σημείου αναφοράς μπορεί να κρύψει ευρύτερες αδυναμίες του συστήματος.
- Το κόστος υποδομής και συντήρησης συχνά υποτιμάται.
- Τα κενά ασφάλειας και παρατηρητικότητας μπορούν να αυξηθούν καθώς τα συστήματα γίνονται πιο πολύπλοκα.
Επόμενα βήματα
- Καθορίστε τους στόχους καθυστέρησης, ποιότητας και κόστους πριν από την εφαρμογή.
- Σημείο αναφοράς υπό ρεαλιστικές συνθήκες φορτίου και δεδομένων.
- Παρακολούθηση οργάνου για σφάλματα, μετατόπιση και επιπτώσεις από τον χρήστη.
- Προετοιμάστε διαδρομές επαναφοράς και απόκρισης συμβάντος πριν την κλιμάκωση.
Συνεχίστε την εξερεύνηση
Δωρεάν ενημερωτικό δελτίο
Λάβετε την καθημερινή ενημέρωση AI
Τρία επαληθευμένα νέα AI κάθε πρωί της εβδομάδας, γραμμένα σε απλή αγγλική. Δωρεάν για πάντα, χωρίς διαφημίσεις.
Ένα email κάθε εργάσιμη ημέρα. Κατάργηση συνδρομής με ένα κλικ. Δεν πουλάμε ή μοιραζόμαστε ποτέ τη διεύθυνσή σας.
Δοκιμάστε τον εαυτό σας
Take the 1-Bit and Ternary BitNet Models quiz
Άμεση ανάδραση σε κάθε απάντηση, και πιστοποιητικό με επαληθεύσιμο ID μόλις περάσετε το μάθημα.
Υποστηρίξτε τη δωρεάν εκπαίδευση AI. AI Understanding είναι μια μη κερδοσκοπική οργάνωση 501(c)(3) — χωρίς διαφημίσεις, χωρίς τοίχο πληρωμής, ποτέ. Κάντε μια δωρεά
Συχνές ερωτήσεις
What is 1-Bit and Ternary BitNet Models?
Το BitNet είναι η γραμμή έρευνας του Microsoft που δείχνει ότι τα μεγάλα μοντέλα γλώσσας μπορούν να εκπαιδευτούν με βάρη που περιορίζονται σε μόλις 1 bit ή τρεις τιμές στην τριμερή περίπτωση. Αυτό μειώνει δραματικά τη μνήμη και τη χρήση ενέργειας, διατηρώντας παράλληλα εκπληκτικά ισχυρή ακρίβεια.
Γιατί το BitNet b1.58 περιγράφεται ότι χρησιμοποιεί περίπου 1,58 bit ανά βάρος;
Τα τριμερή βάρη λαμβάνουν μία από τις τρεις τιμές και η αντιπροσώπευση τριών καταστάσεων απαιτεί τη βάση καταγραφής 2 από 3, περίπου 1,58 bit.
Τι κάνει τις λειτουργίες matrix του BitNet φθηνότερες από ό,τι στα τυπικά μοντέλα;
Με βάρη περιορισμένα σε -1, 0 και +1, ο πολλαπλασιασμός με ένα βάρος μειώνεται σε πρόσθεση, αφαίρεση ή παράβλεψη μιας τιμής, αποφεύγοντας δαπανηρούς πολλαπλασιασμούς κινητής υποδιαστολής.
Κατά τη διάρκεια της εκπαίδευσης, πώς ενημερώνει το BitNet τα βάρη παρά το μη διαφοροποιήσιμο βήμα κβαντοποίησης;
Το BitNet διατηρεί ένα κύριο αντίγραφο βαρών υψηλότερης ακρίβειας και χρησιμοποιεί τον εκτιμητή ευθύγραμμης διαδρομής για να περάσει τις κλίσεις μέσω της κβαντοποίησης, επιτρέποντας την κανονική οπίσθια διάδοση.
Τι πρόσθετο πλεονέκτημα παρέχει το να επιτρέπεται η τιμή 0 (τριμερής, όχι αμιγώς δυαδική);
Η κατάσταση 0 επιτρέπει την αποτελεσματική απενεργοποίηση ορισμένων συνδέσεων, εισάγοντας σπανιότητα που μπορεί να αξιοποιηθεί για περαιτέρω αποτελεσματικότητα.
Ποια είναι η κύρια πρόκληση υλικού για την επίτευξη πλήρους κερδών απόδοσης του BitNet;
Οι σημερινοί επιταχυντές έχουν σχεδιαστεί γύρω από τον πολλαπλασιασμό κινητής υποδιαστολής, επομένως απαιτείται αποκλειστικό υλικό για τριμερείς λειτουργίες που βασίζονται σε πρόσθεση για να ξεκλειδωθούν πλήρως τα οφέλη ταχύτητας και ενέργειας του BitNet.
Συνέχισε να μαθαίνεις
Σχετικοί οδηγοί
Επιλέχθηκαν περισσότεροι οδηγοί για αυτό το θέμα