ΕπόμενοΕπόμενος οδηγός
Εκπαίδευση πρόβλεψης πολλαπλών σημείων
Γλώσσα AI
Τεχνικός ΟΔΗΓΟΣ
κερδοσκοπική ροή και πρόβλεψη πολλαπλών σημείων
Η κερδοσκοπική ροή και η πρόβλεψη πολλαπλών τόνων επιταχύνουν τη δημιουργία γλωσσικών μοντέλων μαντεύοντας πολλά μελλοντικά διακριτικά ταυτόχρονα και επαληθεύοντάς τα με ένα μόνο πέρασμα, αντί να παράγουν ένα διακριτικό τη φορά.
Ακούστε αυτόν τον οδηγόαφήγηση με AI · ~2 min
Σε αυτήν τη σελίδα2 λεπτά ανάγνωση
Επισκόπηση
They cut latency without changing the text the model would have written.
Βαθιά κατάδυση
Η κανονική αυτοπαλινδρομική αποκωδικοποίηση είναι αργή, επειδή κάθε διακριτικό απαιτεί ένα πλήρες πέρασμα προς τα εμπρός και τα διακριτικά δημιουργούνται αυστηρά το ένα μετά το άλλο, αφήνοντας τη GPU υποχρησιμοποίηση. Η κερδοσκοπική αποκωδικοποίηση το διορθώνει με έναν φτηνό συντάκτη που προτείνει ένα κομμάτι υποψήφιων κουπονιών, το οποίο το μοντέλο μεγάλου στόχου επαληθεύει στη συνέχεια παράλληλα. Κάθε πρόθεμα που ταιριάζει με αυτό που θα είχε δημιουργήσει ο στόχος γίνεται δεκτό δωρεάν και η πρώτη αναντιστοιχία διορθώνεται. Η κερδοσκοπική ροή και η πρόβλεψη πολλαπλών σημείων τύπου Medusa διπλώνουν τον συντάκτη στο ίδιο το μοντέλο: οι εξαιρετικά ελαφριές κεφαλές πρόβλεψης (ή μια ροή κερδοσκοπικών κουπονιών) επιτρέπουν σε ένα μοντέλο να σχεδιάζει και να επαληθεύει, αποφεύγοντας ένα ξεχωριστό πρόχειρο μοντέλο. Επειδή η επαλήθευση είναι ακριβής, η κατανομή εξόδου είναι ίδια με την τυπική αποκωδικοποίηση, απλά λαμβάνετε 2 έως 3 φορές λιγότερα διαδοχικά βήματα.
Υλοποίηση σε πραγματικό κόσμο
Μείωση της καθυστέρησης απόκρισης ενός βοηθού συνομιλίας κατά 2 έως 3 φορές χρησιμοποιώντας επιπλέον κεφαλές πρόβλεψης τύπου Medusa
Προσθήκη αυτο-κερδοσκοπικής αποκωδικοποίησης σε έναν διακομιστή συμπερασμάτων, ώστε να μην χρειάζεται να φιλοξενείται ξεχωριστό πρόχειρο μοντέλο
Επιτάχυνση της ολοκλήρωσης κώδικα όπου οι μεγάλες, προβλέψιμες εκτελέσεις διακριτικών γίνονται δεκτές σε μεγάλα κομμάτια
Μείωση του κόστους της GPU ανά αίτημα εξάγοντας περισσότερα διακριτικά από κάθε μπροστινό πέρασμα δεσμευμένης μνήμης
The Future of Speculative Streaming και Multi-Token Prediction
Οι αυτο-κερδοσκοπικές μέθοδοι που δεν χρειάζονται ξεχωριστό πρόχειρο μοντέλο γίνονται οι προεπιλογές στις μηχανές συμπερασμάτων και η έρευνα ωθεί τα ποσοστά αποδοχής υψηλότερα με καλύτερες κεφαλές βυθίσματος, υποψηφίους με δομή δέντρου και εκπαίδευση του βασικού μοντέλου από κοινού για πρόβλεψη πολλαπλών τόνων (που μπορεί επίσης να βελτιώσει την ποιότητα). Αναμένετε ότι αυτές οι τεχνικές θα συνδυαστούν με κβαντοποίηση και ομαδοποίηση, ώστε οι διαδραστικοί βοηθοί να αισθάνονται άμεσοι ακόμα και όταν μεγαλώνουν τα μοντέλα.
Κάνοντάς το στην πράξη
Γιατί έχει σημασία
- Κόστος και προϋπολογισμός. Οι αποφάσεις για την αρχιτεκτονική καθορίζουν την απόδοση και το λειτουργικό κόστος για χρόνια.
- Σαφέστερες αποφάσεις. Η τεχνική εκπαίδευση βοηθά τις ομάδες να επιλέξουν τη σωστή στοίβα, όχι μόνο τη νεότερη.
- Ελεγχος ποιότητας. Οι καλύτερες επιλογές μηχανικής μειώνουν τα περιστατικά αξιοπιστίας στην παραγωγή.
Προσέξτε
- Η βελτιστοποίηση ενός σημείου αναφοράς μπορεί να κρύψει ευρύτερες αδυναμίες του συστήματος.
- Το κόστος υποδομής και συντήρησης συχνά υποτιμάται.
- Τα κενά ασφάλειας και παρατηρητικότητας μπορούν να αυξηθούν καθώς τα συστήματα γίνονται πιο πολύπλοκα.
Επόμενα βήματα
- Καθορίστε τους στόχους καθυστέρησης, ποιότητας και κόστους πριν από την εφαρμογή.
- Σημείο αναφοράς υπό ρεαλιστικές συνθήκες φορτίου και δεδομένων.
- Παρακολούθηση οργάνου για σφάλματα, μετατόπιση και επιπτώσεις από τον χρήστη.
- Προετοιμάστε διαδρομές επαναφοράς και απόκρισης συμβάντος πριν την κλιμάκωση.
Συνεχίστε την εξερεύνηση
Δωρεάν ενημερωτικό δελτίο
Λάβετε την καθημερινή ενημέρωση AI
Τρία επαληθευμένα νέα AI κάθε πρωί της εβδομάδας, γραμμένα σε απλή αγγλική. Δωρεάν για πάντα, χωρίς διαφημίσεις.
Ένα email κάθε εργάσιμη ημέρα. Κατάργηση συνδρομής με ένα κλικ. Δεν πουλάμε ή μοιραζόμαστε ποτέ τη διεύθυνσή σας.
Δοκιμάστε τον εαυτό σας
Take the Speculative Streaming and Multi-Token Prediction quiz
Άμεση ανάδραση σε κάθε απάντηση, και πιστοποιητικό με επαληθεύσιμο ID μόλις περάσετε το μάθημα.
Υποστηρίξτε τη δωρεάν εκπαίδευση AI. AI Understanding είναι μια μη κερδοσκοπική οργάνωση 501(c)(3) — χωρίς διαφημίσεις, χωρίς τοίχο πληρωμής, ποτέ. Κάντε μια δωρεά
Συχνές ερωτήσεις
What is Speculative Streaming and Multi-Token Prediction?
Η κερδοσκοπική ροή και η πρόβλεψη πολλαπλών τόνων επιταχύνουν τη δημιουργία γλωσσικών μοντέλων μαντεύοντας πολλά μελλοντικά διακριτικά ταυτόχρονα και επαληθεύοντάς τα με ένα μόνο πέρασμα, αντί να παράγουν ένα διακριτικό τη φορά. Έκοψαν την καθυστέρηση χωρίς να αλλάξουν το κείμενο που θα έγραφε το μοντέλο.
Γιατί η τυπική αυτοπαλινδρομική αποκωδικοποίηση είναι συχνά αργή σε μια GPU;
Κάθε διακριτικό χρειάζεται το δικό του πρόσθιο πέρασμα και είναι αυστηρά διαδοχικά, επομένως η GPU είναι δεσμευμένη σε εύρος ζώνης μνήμης και υποχρησιμοποιείται κατά την αποκωδικοποίηση.
Τι κάνει ένας «συντάκτης» στην κερδοσκοπική αποκωδικοποίηση;
Ένας φτηνός συντάκτης προτείνει ένα κομμάτι υποψήφιων διακριτικών που το μοντέλο μεγάλου στόχου επαληθεύει στη συνέχεια παράλληλα.
Πώς διατηρείται η ποιότητα εξόδου στην κερδοσκοπική αποκωδικοποίηση;
Η επαλήθευση (άπληστη αντιστοίχιση ή δειγματοληψία απόρριψης) διασφαλίζει ότι τα αποδεκτά διακριτικά ακολουθούν την ακριβή κατανομή που θα παρήγαγε το μοντέλο-στόχος, επομένως η έξοδος παραμένει αμετάβλητη.
Τι διακρίνει την πρόβλεψη πολλαπλών σημείων τύπου Medusa από την κλασική κερδοσκοπική αποκωδικοποίηση;
Οι μέθοδοι τύπου Medusa διπλώνουν το σχέδιο στο μοντέλο με επιπλέον κεφαλές πρόβλεψης, αποφεύγοντας την ανάγκη φιλοξενίας ενός ξεχωριστού μοντέλου πρόχειρου.
Γιατί ένας μετασχηματιστής μπορεί να επαληθεύσει πολλές υποψήφιες θέσεις σχεδόν τόσο φθηνά όσο μία κατά την αποκωδικοποίηση;
Κατά τη διάρκεια της αποκωδικοποίησης, το bottleneck μετακινεί βάρη από τη μνήμη, οπότε η βαθμολογία επιπλέον θέσεων στο ίδιο πέρασμα προσθέτει μικρό υπολογιστικό κόστος.
Συνέχισε να μαθαίνεις
Σχετικοί οδηγοί
Επιλέχθηκαν περισσότεροι οδηγοί για αυτό το θέμα