Συμπίεση ήχου EnCodec
Το EnCodec είναι ο νευρωνικός κωδικοποιητής ήχου υψηλής πιστότητας του Meta που συμπιέζει την ομιλία και τη μουσική σε πολύ χαμηλούς ρυθμούς bit με ποιότητα που συναγωνίζεται πολύ πιο βαριές μορφές.
Επισκόπηση
It matters because it underpins modern generative audio systems and ships in open-source form for anyone to use.
Βαθιά κατάδυση
Κυκλοφόρησε από Meta AI το 2022, το EnCodec ακολουθεί το σχέδιο SoundStream ενός κωδικοποιητή, ενός υπολειπόμενου διανυσματικού κβαντιστή (RVQ) και ενός εκπαιδευμένου αποκωδικοποιητή από άκρο σε άκρο, αλλά προσθέτει αρκετές βελτιώσεις. Χρησιμοποιεί έναν συνελικτικό κωδικοποιητή με δυνατότητα ροής, απώλειες ανακατασκευής φασματογράμματος πολλαπλών κλιμάκων και χρονικού τομέα και αντιτιθέμενους παράγοντες διάκρισης για αντιληπτική ποιότητα. Μια αξιοσημείωτη συμβολή είναι ένα μικρό μοντέλο εντροπίας που βασίζεται σε μετασχηματιστή που συμπιέζει περαιτέρω τους κβαντισμένους κώδικες χωρίς απώλειες, συμπιέζοντας επιπλέον κομμάτια χωρίς απώλεια ποιότητας. Το EnCodec εισάγει επίσης έναν εξισορροπητή που κλιμακώνει αυτόματα τις πολλές ανταγωνιστικές απώλειες προπόνησης, ώστε να παραμένουν σταθερές. Χειρίζεται μονοφωνικό ήχο 24 kHz και στερεοφωνικό ήχο 48 kHz, λειτουργεί σε ρυθμούς μετάδοσης bit όπως 1,5, 3, 6 και 12 kbps και στα 6 kbps επιτυγχάνει ποιότητα συγκρίσιμη με το MP3 στα 64 kbps. Τα διακριτικά του τροφοδοτούν το MusicGen και το AudioGen του Meta.
Τεχνική διορατικότητα
Ο κωδικοποιητής του EnCodec μειώνει τη δειγματοληψία της κυματομορφής με ραγδαίες συνελίξεις σε μια λανθάνουσα ακολουθία, την οποία το RVQ μετατρέπει σε στοιβαγμένους δείκτες του βιβλίου κωδίκων. Ένα ελαφρύ μοντέλο γλώσσας Transformer προβλέπει τις πιθανότητες αυτών των διακριτικών και τις κωδικοποιεί αριθμητικά, ανακτώντας δωρεάν περαιτέρω συμπίεση. Ο εξισορροπητής εκπαίδευσης επανακλιμακώνει τις συνεισφορές κλίσης από ανακατασκευή, φασματικές και αντίθετες απώλειες, έτσι ώστε να μην κυριαρχεί μεμονωμένος όρος, γεγονός που διατηρεί σταθερή την προπόνηση πολλαπλών στόχων σε όλο το εύρος του bitrate.
Στρατηγικός αντίκτυπος
Πρόσβαση και προσέγγιση χρηστών
Βελτιώνει την προσβασιμότητα μέσω διασυνδέσεων μεταγραφής, αφήγησης και φωνής.
Κόστος και προϋπολογισμός
Οι ομάδες πολυμέσων μπορούν να αποστέλλουν γυαλισμένο ήχο πιο γρήγορα με μικρότερους προϋπολογισμούς.
Ταχύτητα και κλίμακα
Τα συστήματα που αντιμετωπίζουν πελάτες μπορούν να επεξεργάζονται προφορικές αλληλεπιδράσεις σε μεγαλύτερη κλίμακα.
Το μέλλον της συμπίεσης ήχου EnCodec
Το EnCodec είναι ήδη το προεπιλεγμένο tokenizer για πολλά ανοιχτά μοντέλα παραγωγής ήχου και οι απόγονοί του προωθούν υψηλότερη πιστότητα σε χαμηλότερους ρυθμούς bit, πλήρη στερεοφωνική και μουσική ανακατασκευή και πιο στενή ενοποίηση με γεννήτριες κειμένου σε ήχο και κειμένου σε μουσική. Αναμένετε ευρύτερη υιοθέτηση σε επικοινωνία χαμηλού εύρους ζώνης, ροή σε πραγματικό χρόνο και ως το τυπικό επίπεδο «κουπόνι ήχου» που επιτρέπει σε μεγάλες αρχιτεκτονικές τύπου γλωσσών να διαβάζουν και να γράφουν ήχο.
Υλοποίηση σε πραγματικό κόσμο
Προσαρμογή ήχου για τις γεννήτριες κειμένου σε ήχο MusicGen και AudioGen του Meta
Συμπίεση ομιλίας 24 kHz σε 1,5-6 kbps για μετάδοση περιορισμένου εύρους ζώνης
Κωδικοποίηση στερεοφωνικής μουσικής 48 kHz με ποιότητα κοντά σε MP3 σε πολύ υψηλότερους ρυθμούς bit
Λειτουργεί ως open-source drop-in codec για αγωγούς έρευνας και ήχου ML μέσω των απελευθερωμένων σημείων ελέγχου
Κίνδυνοι & προστατευτικά κιγκλιδώματα
Οι κίνδυνοι κατάχρησης φωνής και πλαστοπροσωπίας αυξάνονται όταν λείπει η συγκατάθεση.
Η ακρίβεια μπορεί να πέσει σε τόνους, διαλέκτους ή θορυβώδη περιβάλλοντα.
Ο συνθετικός ήχος μπορεί να εκληφθεί εσφαλμένα ως αυθεντική ομιλία χωρίς σαφή σήμανση.
Οδικός Χάρτης Εφαρμογής
Λάβετε ρητή συγκατάθεση για λήψη φωνής, κλωνοποίηση και επαναχρησιμοποίηση.
Δοκιμάστε την ποιότητα σε διαφορετικά ηχεία και συνθήκες φόντου.
Καθορίστε πότε ένας άνθρωπος πρέπει να επανεξετάσει ή να εγκρίνει τα αποτελέσματα.
Επισημάνετε τον συνθετικό ήχο και κρατήστε αρχεία προέλευσης για υπευθυνότητα.
Συνεχίστε την εξερεύνηση
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the EnCodec Audio Compression quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Επόμενος οδηγός
Ενσωματώσεις ήχου και εκμάθηση αναπαράστασης
Συχνές ερωτήσεις
What is EnCodec Audio Compression?
Το EnCodec είναι ο νευρωνικός κωδικοποιητής ήχου υψηλής πιστότητας του Meta που συμπιέζει την ομιλία και τη μουσική σε πολύ χαμηλούς ρυθμούς bit με ποιότητα που συναγωνίζεται πολύ πιο βαριές μορφές. Έχει σημασία γιατί υποστηρίζει τα σύγχρονα παραγωγικά συστήματα ήχου και αποστέλλονται σε μορφή ανοιχτού κώδικα για χρήση από οποιονδήποτε.
Ποιος οργανισμός κυκλοφόρησε το EnCodec;
Το EnCodec εισήχθη από Meta AI (FAIR) το 2022 ως νευρωνικός κωδικοποιητής ήχου υψηλής πιστότητας.
Ποιο επιπλέον στοιχείο προσθέτει το EnCodec για να συμπιέζει χωρίς απώλειες περισσότερη συμπίεση από τα διακριτικά του;
Το EnCodec εκπαιδεύει έναν μικρό μετασχηματιστή για να προβλέψει τις πιθανότητες συμβολαίων και να τις κωδικοποιήσει αριθμητικά, επιτυγχάνοντας πρόσθετη συμπίεση χωρίς απώλειες πάνω από το RVQ.
Στα 6 kbps περίπου, η ποιότητα του EnCodec αναφέρθηκε ως συγκρίσιμη με το MP3 με ποιο ρυθμό bit;
Το EnCodec στα 6 kbps φτάνει σε υποκειμενική ποιότητα παρόμοια με το MP3 στα 64 kbps, ένα μεγάλο κέρδος απόδοσης.
Τι πρόβλημα λύνει το 'balancer' του EnCodec κατά τη διάρκεια της προπόνησης;
Με πολλές απώλειες (ανακατασκευή, φασματικές, αντίθετες), ο εξισορροπητής επανακλιμακώνει τις κλίσεις τους, έτσι ώστε να μην κυριαρχεί μεμονωμένος στόχος, σταθεροποιώντας την εκπαίδευση.
Ποια μέθοδο κβαντισμού πυρήνα μοιράζεται το EnCodec με το SoundStream;
Όπως το SoundStream, το EnCodec χρησιμοποιεί υπολειπόμενη διανυσματική κβαντοποίηση για να διακριτοποιήσει τις ενσωματώσεις κωδικοποιητών σε στοιβαγμένους δείκτες βιβλίου κωδίκων.