SoundStream Neural Codec
Το SoundStream είναι ο νευρωνικός κωδικοποιητής ήχου από άκρο σε άκρο του Google που συμπιέζει την ομιλία και τη μουσική σε εξαιρετικά χαμηλούς ρυθμούς bit διατηρώντας παράλληλα την ποιότητα.
Επισκόπηση
It matters because it beats traditional codecs like Opus at the same bitrate and powers modern generative audio models.
Βαθιά κατάδυση
Το SoundStream, το οποίο εισήχθη από τον Google το 2021, είναι ένας πλήρως νευρωνικός κωδικοποιητής κατασκευασμένος από τρία κομμάτια εκπαιδευμένα μαζί: έναν συνελικτικό κωδικοποιητή που μετατρέπει την ακατέργαστη κυματομορφή σε μια συμπαγή ακολουθία διανυσμάτων, έναν υπολειπόμενο διανυσματικό κβαντιστή (RVQ) που ανακατασκευάζει, διακρίνει και διακρίνει το vector. κυματομορφή. Εκπαιδεύεται τόσο με απώλειες ανακατασκευής όσο και με έναν αντίπαλο διαχωριστή τύπου GAN, επομένως η έξοδος ακούγεται φυσική και όχι απλώς αριθμητικά κοντινή. Ένα χαρακτηριστικό γνώρισμα που ξεχωρίζει είναι η «κλιμακούμενη» ή η εκμάθηση απόσυρσης με κβαντιστή: ένα μεμονωμένο μοντέλο μπορεί να λειτουργεί σε ρυθμούς μετάδοσης bit από περίπου 3 έως 18 kbps απλά χρησιμοποιώντας περισσότερα ή λιγότερα επίπεδα κβαντιστή στο συμπέρασμα, χωρίς επανεκπαίδευση. Στα 3 kbps φέρεται να υπερέχει του Opus στα 12 kbps σε δοκιμές ακρόασης, χειρισμό ομιλίας, μουσικής και γενικού ήχου σε ένα μοντέλο που μπορεί να εκτελεστεί σε πραγματικό χρόνο σε CPU smartphone.
Τεχνική διορατικότητα
Η κυματομορφή διέρχεται μέσα από διασκελίσεις που μειώνουν σε μεγάλο βαθμό, παράγοντας μία ενσωμάτωση ανά καρέ (π.χ. 75 καρέ/δευτερόλεπτο). Στη συνέχεια, το RVQ κωδικοποιεί κάθε ενσωμάτωση ως μια στοίβα δεικτών βιβλίου κωδίκων. Ο ρυθμός μετάδοσης bit ισούται με το ρυθμό καρέ επί τον αριθμό των ενεργών κβαντιστών επί bit ανά βιβλίο κωδίκων. Η εγκατάλειψη του Quantizer περικόπτει τυχαία τη στοίβα RVQ κατά τη διάρκεια της εκπαίδευσης, αναγκάζοντας τα προηγούμενα βιβλία κωδικών να μεταφέρουν τις πιο σημαντικές πληροφορίες, έτσι ώστε ο κωδικοποιητής να υποβαθμίζεται με χάρη σε χαμηλότερους ρυθμούς.
Στρατηγικός αντίκτυπος
Πρόσβαση και προσέγγιση χρηστών
Βελτιώνει την προσβασιμότητα μέσω διασυνδέσεων μεταγραφής, αφήγησης και φωνής.
Κόστος και προϋπολογισμός
Οι ομάδες πολυμέσων μπορούν να αποστέλλουν γυαλισμένο ήχο πιο γρήγορα με μικρότερους προϋπολογισμούς.
Ταχύτητα και κλίμακα
Τα συστήματα που αντιμετωπίζουν πελάτες μπορούν να επεξεργάζονται προφορικές αλληλεπιδράσεις σε μεγαλύτερη κλίμακα.
Το μέλλον του SoundStream Neural Codec
Το SoundStream δημιούργησε το πρότυπο που βελτίωσαν οι μεταγενέστεροι κωδικοποιητές όπως το EnCodec και το DAC, και τα διακριτά διακριτικά του έγιναν το υπόστρωμα για συστήματα παραγωγής όπως το AudioLM και το MusicLM. Αναμένετε απόγονους να πιέζουν προς ακόμη χαμηλότερους ρυθμούς bit, σημασιολογικά δομημένα διακριτικά που διπλασιάζονται ως είσοδοι σε γεννήτριες ήχου τύπου γλωσσικού μοντέλου και πιο αυστηρή ανάπτυξη στη συσκευή για ζωντανές κλήσεις, βοηθήματα ακοής και ροή όπου το εύρος ζώνης και ο λανθάνοντας χρόνος είναι αυστηρά περιορισμένοι.
Υλοποίηση σε πραγματικό κόσμο
Συμπίεση φωνητικών κλήσεων σε ~3 kbps ενώ ακούγεται πιο καθαρός από τους κωδικοποιητές παλαιού τύπου σε υψηλότερους ρυθμούς bit
Δημιουργία διακριτών διακριτικών ήχου που τροφοδοτούν τα μοντέλα δημιουργίας AudioLM και MusicLM της Google
Ροή ήχου χαμηλού εύρους ζώνης σε πραγματικό χρόνο σε κινητές συσκευές με κωδικοποίηση και αποκωδικοποίηση εντός της CPU
Αποθήκευση ή μετάδοση μουσικής και ήχου περιβάλλοντος αποτελεσματικά σε ένα ενιαίο μοντέλο που χειρίζεται όλους τους τύπους περιεχομένου
Κίνδυνοι & προστατευτικά κιγκλιδώματα
Οι κίνδυνοι κατάχρησης φωνής και πλαστοπροσωπίας αυξάνονται όταν λείπει η συγκατάθεση.
Η ακρίβεια μπορεί να πέσει σε τόνους, διαλέκτους ή θορυβώδη περιβάλλοντα.
Ο συνθετικός ήχος μπορεί να εκληφθεί εσφαλμένα ως αυθεντική ομιλία χωρίς σαφή σήμανση.
Οδικός Χάρτης Εφαρμογής
Λάβετε ρητή συγκατάθεση για λήψη φωνής, κλωνοποίηση και επαναχρησιμοποίηση.
Δοκιμάστε την ποιότητα σε διαφορετικά ηχεία και συνθήκες φόντου.
Καθορίστε πότε ένας άνθρωπος πρέπει να επανεξετάσει ή να εγκρίνει τα αποτελέσματα.
Επισημάνετε τον συνθετικό ήχο και κρατήστε αρχεία προέλευσης για υπευθυνότητα.
Συνεχίστε την εξερεύνηση
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the SoundStream Neural Codec quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Επόμενος οδηγός
Νευρωνικοί κωδικοποιητές ήχου
Συχνές ερωτήσεις
What is SoundStream Neural Codec?
Το SoundStream είναι ο νευρωνικός κωδικοποιητής ήχου από άκρο σε άκρο του Google που συμπιέζει την ομιλία και τη μουσική σε εξαιρετικά χαμηλούς ρυθμούς bit διατηρώντας παράλληλα την ποιότητα. Έχει σημασία γιατί ξεπερνά τους παραδοσιακούς κωδικοποιητές όπως το Opus με τον ίδιο ρυθμό bit και τροφοδοτεί τα σύγχρονα μοντέλα παραγωγής ήχου.
Ποια τρία στοιχεία συνθέτουν την αρχιτεκτονική SoundStream;
Το SoundStream είναι κατασκευασμένο από έναν συνελικτικό κωδικοποιητή, έναν υπολειπόμενο διανυσματικό κβαντιστή που διακρίνει τις ενσωματώσεις και έναν συνελικτικό αποκωδικοποιητή, όλα εκπαιδευμένα από άκρο σε άκρο.
Ποια τεχνική επιτρέπει σε ένα μοντέλο SoundStream να εξυπηρετεί πολλούς διαφορετικούς ρυθμούς μετάδοσης δεδομένων χωρίς επανεκπαίδευση;
Κατά τη διάρκεια της προπόνησης, το SoundStream ρίχνει τυχαία επίπεδα κβαντιστή, έτσι ώστε να μπορείτε να χρησιμοποιήσετε περισσότερα ή λιγότερα επίπεδα RVQ για να πετύχετε διαφορετικούς ρυθμούς bit από ένα μοντέλο.
Στις δοκιμές ακρόασης του Google, αναφέρθηκε ότι το SoundStream στα 3 kbps υπερέχει από ποιον κωδικοποιητή στα 12 kbps;
Το SoundStream με μόλις 3 kbps ταιριάζει ή ξεπερνά τον ευρέως χρησιμοποιούμενο κωδικοποιητή Opus που τρέχει στα 12 kbps σε υποκειμενικές αξιολογήσεις ποιότητας.
Τι είδους πρόσθετο σήμα εκπαίδευσης χρησιμοποιεί το SoundStream για να κάνει την έξοδο φυσικό ήχο;
Πέρα από τις απώλειες ανακατασκευής, το SoundStream χρησιμοποιεί αντιπάλους (GAN) διαχωριστές, έτσι οι ανακατασκευές ακούγονται αντιληπτικά ρεαλιστικές και όχι απλώς αριθμητικά κοντινές.
Πώς σχετίζεται το bitrate του SoundStream με τους κβαντιστές του;
Ο ρυθμός μετάδοσης δεδομένων κλιμακώνεται με τον αριθμό των ενεργών επιπέδων RVQ (χρόνος του ρυθμού καρέ επί bits ανά βιβλίο κωδικών), επομένως η προσθήκη κβαντιζόντων αυξάνει τον ρυθμό μετάδοσης bit και την ποιότητα.