ΕπόμενοΕπόμενος οδηγός
Ενσωματώσεις ηχείων X-Vector
Ήχος AI
ΟΔΗΓΟΣ Audio AI
Υπολειμματική διανυσματική κβαντοποίηση
Η κβαντοποίηση υπολειπόμενων διανυσμάτων (RVQ) είναι η τεχνική που μετατρέπει τις συνεχείς ενσωματώσεις ήχου σε μια συμπαγή στοίβα διακριτών κωδικών με επανειλημμένα κβαντισμό του υπολειπόμενου σφάλματος.
Ακούστε αυτόν τον οδηγόαφήγηση με AI · ~2 min
Σε αυτήν τη σελίδα2 λεπτά ανάγνωση
Επισκόπηση
It matters because it is the engine behind modern neural codecs like SoundStream and EnCodec and the tokenizer for generative audio.
Βαθιά κατάδυση
Η κβαντοποίηση απλού διανύσματος (VQ) αντικαθιστά ένα συνεχές διάνυσμα με την πλησιέστερη καταχώρηση σε ένα βιβλίο κωδίκων που έχει μάθει, αλλά ένα μόνο βιβλίο κωδικών αρκετά καλό για υψηλή ποιότητα θα χρειαζόταν έναν αστρονομικά μεγάλο αριθμό καταχωρήσεων. Το RVQ το λύνει αυτό με τη διαδοχή πολλών μικρότερων βιβλίων κωδικών. Το πρώτο βιβλίο κωδικών παράγει μια χονδρική προσέγγιση. Το αφαιρείτε για να λάβετε ένα υπολειπόμενο σφάλμα, κβαντίζετε αυτό το υπόλοιπο με ένα δεύτερο βιβλίο κωδικών, αφαιρείτε ξανά και συνεχίζετε για Ν στάδια. Ο τελικός κώδικας είναι η λίστα των επιλεγμένων δεικτών σε όλα τα στάδια και η ανακατασκευή είναι το άθροισμα όλων των επιλεγμένων διανυσμάτων βιβλίου κωδίκων. Αυτό παραγοντοποιεί ένα τεράστιο αποτελεσματικό βιβλίο κωδικών σε πολλά μικρά, μειώνοντας δραματικά τη μνήμη και τους υπολογισμούς, ενώ αφήνουμε τον ρυθμό μετάδοσης bit να κλιμακώνεται απλά χρησιμοποιώντας περισσότερα ή λιγότερα στάδια. Η εγκατάλειψη του Quantizer κατά τη διάρκεια της εκπαίδευσης κάνει τα πρώτα βιβλία κωδικών να φέρουν τις περισσότερες πληροφορίες, επιτρέποντας τη χαριτωμένη υποβάθμιση της ποιότητας.
Υλοποίηση σε πραγματικό κόσμο
Διακριτικές ενσωματώσεις κωδικοποιητών μέσα σε νευρικούς κωδικοποιητές SoundStream, EnCodec και DAC
Παραγωγή των πολυεπίπεδων διακριτικών ήχου που δημιουργούν τα AudioLM και MusicLM
Κλιμάκωση του ρυθμού bit ενός κωδικοποιητή προς τα πάνω ή προς τα κάτω, ενεργοποιώντας περισσότερα ή λιγότερα στάδια κβαντιστή
Συμπίεση υψηλών διαστάσεων ενσωματώσεων σε συστήματα ανάκτησης και αποθήκευσης χρησιμοποιώντας στοιβαγμένα βιβλία κωδικών
Το μέλλον της κβαντοποίησης υπολειπόμενων διανυσμάτων
Το RVQ έχει γίνει το τυπικό επίπεδο διακριτοποίησης που συνδέει συνεχείς νευρωνικές αναπαραστάσεις με παραγωγικά μοντέλα που βασίζονται σε διακριτικά, και οι βελτιώσεις συνεχίζονται: καλύτερη χρήση του βιβλίου κωδίκων για την αποφυγή «νεκρών» εγγραφών, παραγοντοποιημένα και χαμηλών διαστάσεων βιβλία κωδικών και σημασιολογικά σημαντικές ιεραρχίες διακριτικών. Πέρα από τον ήχο, η ίδια ιδέα της υπολειπόμενης στοίβαξης εξαπλώνεται και σε συσκευές δημιουργίας διακριτικών εικόνων και βίντεο, τοποθετώντας το RVQ ως μια γενική γέφυρα μεταξύ των συνεχών κωδικοποιητών και των γεννητριών ακολουθιών σε στυλ γλώσσας.
Κάνοντάς το στην πράξη
Γιατί έχει σημασία
- Πρόσβαση και προσέγγιση χρηστών. Βελτιώνει την προσβασιμότητα μέσω διασυνδέσεων μεταγραφής, αφήγησης και φωνής.
- Κόστος και προϋπολογισμός. Οι ομάδες πολυμέσων μπορούν να αποστέλλουν γυαλισμένο ήχο πιο γρήγορα με μικρότερους προϋπολογισμούς.
- Ταχύτητα και κλίμακα. Τα συστήματα που αντιμετωπίζουν πελάτες μπορούν να επεξεργάζονται προφορικές αλληλεπιδράσεις σε μεγαλύτερη κλίμακα.
Προσέξτε
- Οι κίνδυνοι κατάχρησης φωνής και πλαστοπροσωπίας αυξάνονται όταν λείπει η συγκατάθεση.
- Η ακρίβεια μπορεί να πέσει σε τόνους, διαλέκτους ή θορυβώδη περιβάλλοντα.
- Ο συνθετικός ήχος μπορεί να εκληφθεί εσφαλμένα ως αυθεντική ομιλία χωρίς σαφή σήμανση.
Επόμενα βήματα
- Λάβετε ρητή συγκατάθεση για λήψη φωνής, κλωνοποίηση και επαναχρησιμοποίηση.
- Δοκιμάστε την ποιότητα σε διαφορετικά ηχεία και συνθήκες φόντου.
- Καθορίστε πότε ένας άνθρωπος πρέπει να επανεξετάσει ή να εγκρίνει τα αποτελέσματα.
- Επισημάνετε τον συνθετικό ήχο και κρατήστε αρχεία προέλευσης για υπευθυνότητα.
Συνεχίστε την εξερεύνηση
Δωρεάν ενημερωτικό δελτίο
Λάβετε την καθημερινή ενημέρωση AI
Τρία επαληθευμένα νέα AI κάθε πρωί της εβδομάδας, γραμμένα σε απλή αγγλική. Δωρεάν για πάντα, χωρίς διαφημίσεις.
Ένα email κάθε εργάσιμη ημέρα. Κατάργηση συνδρομής με ένα κλικ. Δεν πουλάμε ή μοιραζόμαστε ποτέ τη διεύθυνσή σας.
Δοκιμάστε τον εαυτό σας
Take the Residual Vector Quantization quiz
Άμεση ανάδραση σε κάθε απάντηση, και πιστοποιητικό με επαληθεύσιμο ID μόλις περάσετε το μάθημα.
Υποστηρίξτε τη δωρεάν εκπαίδευση AI. AI Understanding είναι μια μη κερδοσκοπική οργάνωση 501(c)(3) — χωρίς διαφημίσεις, χωρίς τοίχο πληρωμής, ποτέ. Κάντε μια δωρεά
Συχνές ερωτήσεις
What is Residual Vector Quantization?
Η κβαντοποίηση υπολειπόμενων διανυσμάτων (RVQ) είναι η τεχνική που μετατρέπει τις συνεχείς ενσωματώσεις ήχου σε μια συμπαγή στοίβα διακριτών κωδικών με επανειλημμένα κβαντισμό του υπολειπόμενου σφάλματος. Έχει σημασία γιατί είναι ο κινητήρας πίσω από τους σύγχρονους νευρωνικούς κωδικοποιητές όπως το SoundStream και το EnCodec και το tokenizer για τον παραγωγικό ήχο.
Τι κβαντίζει κάθε διαδοχικό βιβλίο κωδικών στο RVQ;
Αφού το πρώτο βιβλίο κωδίκων δώσει μια χονδρική εκτίμηση, το RVQ την αφαιρεί και κβαντοποιεί το υπόλοιπο που έχει απομείνει με το επόμενο βιβλίο κωδίκων, επαναλαμβάνοντας σε όλα τα στάδια.
Γιατί να χρησιμοποιήσετε το RVQ αντί για ένα μεγάλο βιβλίο κωδικών;
Ένα μόνο βιβλίο κωδικών αρκετά καλό για υψηλή ποιότητα θα ήταν πρακτικά μεγάλο. Η στοίβαξη των βιβλίων κωδικών M με K καταχωρήσεις παρέχει συνδυασμούς K^M με πολύ λιγότερο χώρο αποθήκευσης.
Πώς διαμορφώνεται η τελική ανακατασκευή από τους κωδικούς RVQ;
Η ανακατασκευή είναι το άθροισμα των επιλεγμένων διανυσμάτων του βιβλίου κωδίκων σε όλα τα στάδια, καθένα από τα οποία διορθώνει το υπόλοιπο των προηγούμενων.
Με M στάδια των K καταχωρήσεων το καθένα, πόσους αποτελεσματικούς συνδυασμούς κωδικών αντιπροσωπεύει το RVQ;
Η επιλογή μίας από τις καταχωρήσεις K σε κάθε ένα από τα M ανεξάρτητα στάδια δίνει K^M πιθανούς συνδυασμούς, ενώ αποθηκεύονται μόνο διανύσματα M*K.
Ποιος είναι ο τυπικός σκοπός της «απώλειας δέσμευσης» κατά την εκπαίδευση βιβλίων κωδικών RVQ;
Η απώλεια δέσμευσης τιμωρεί τον κωδικοποιητή όταν οι έξοδοι του αποκλίνουν από τα επιλεγμένα διανύσματα βιβλίου κωδίκων, διατηρώντας την κβαντοποίηση σταθερή. Τα ίδια τα βιβλία κωδικών ενημερώνονται συχνά μέσω ενός εκθετικού κινούμενου μέσου όρου.
Συνέχισε να μαθαίνεις
Σχετικοί οδηγοί
Επιλέχθηκαν περισσότεροι οδηγοί για αυτό το θέμα