ΕπόμενοΕπόμενος οδηγός
Ενσωματώσεις ήχου και εκμάθηση αναπαράστασης
Ήχος AI
ΟΔΗΓΟΣ Audio AI
Συμπίεση ήχου EnCodec
Το EnCodec είναι ο νευρωνικός κωδικοποιητής ήχου υψηλής πιστότητας του Meta που συμπιέζει την ομιλία και τη μουσική σε πολύ χαμηλούς ρυθμούς bit με ποιότητα που συναγωνίζεται πολύ πιο βαριές μορφές.
Ακούστε αυτόν τον οδηγόαφήγηση με AI · ~2 min
Σε αυτήν τη σελίδα2 λεπτά ανάγνωση
Επισκόπηση
It matters because it underpins modern generative audio systems and ships in open-source form for anyone to use.
Βαθιά κατάδυση
Κυκλοφόρησε από Meta AI το 2022, το EnCodec ακολουθεί το σχέδιο SoundStream ενός κωδικοποιητή, ενός υπολειπόμενου διανυσματικού κβαντιστή (RVQ) και ενός εκπαιδευμένου αποκωδικοποιητή από άκρο σε άκρο, αλλά προσθέτει αρκετές βελτιώσεις. Χρησιμοποιεί έναν συνελικτικό κωδικοποιητή με δυνατότητα ροής, απώλειες ανακατασκευής φασματογράμματος πολλαπλών κλιμάκων και χρονικού τομέα και αντιτιθέμενους παράγοντες διάκρισης για αντιληπτική ποιότητα. Μια αξιοσημείωτη συμβολή είναι ένα μικρό μοντέλο εντροπίας που βασίζεται σε μετασχηματιστή που συμπιέζει περαιτέρω τους κβαντισμένους κώδικες χωρίς απώλειες, συμπιέζοντας επιπλέον κομμάτια χωρίς απώλεια ποιότητας. Το EnCodec εισάγει επίσης έναν εξισορροπητή που κλιμακώνει αυτόματα τις πολλές ανταγωνιστικές απώλειες προπόνησης, ώστε να παραμένουν σταθερές. Χειρίζεται μονοφωνικό ήχο 24 kHz και στερεοφωνικό ήχο 48 kHz, λειτουργεί σε ρυθμούς μετάδοσης bit όπως 1,5, 3, 6 και 12 kbps και στα 6 kbps επιτυγχάνει ποιότητα συγκρίσιμη με το MP3 στα 64 kbps. Τα διακριτικά του τροφοδοτούν το MusicGen και το AudioGen του Meta.
Υλοποίηση σε πραγματικό κόσμο
Προσαρμογή ήχου για τις γεννήτριες κειμένου σε ήχο MusicGen και AudioGen του Meta
Συμπίεση ομιλίας 24 kHz σε 1,5-6 kbps για μετάδοση περιορισμένου εύρους ζώνης
Κωδικοποίηση στερεοφωνικής μουσικής 48 kHz με ποιότητα κοντά σε MP3 σε πολύ υψηλότερους ρυθμούς bit
Λειτουργεί ως open-source drop-in codec για αγωγούς έρευνας και ήχου ML μέσω των απελευθερωμένων σημείων ελέγχου
Το μέλλον της συμπίεσης ήχου EnCodec
Το EnCodec είναι ήδη το προεπιλεγμένο tokenizer για πολλά ανοιχτά μοντέλα παραγωγής ήχου και οι απόγονοί του προωθούν υψηλότερη πιστότητα σε χαμηλότερους ρυθμούς bit, πλήρη στερεοφωνική και μουσική ανακατασκευή και πιο στενή ενοποίηση με γεννήτριες κειμένου σε ήχο και κειμένου σε μουσική. Αναμένετε ευρύτερη υιοθέτηση σε επικοινωνία χαμηλού εύρους ζώνης, ροή σε πραγματικό χρόνο και ως το τυπικό επίπεδο «κουπόνι ήχου» που επιτρέπει σε μεγάλες αρχιτεκτονικές τύπου γλωσσών να διαβάζουν και να γράφουν ήχο.
Κάνοντάς το στην πράξη
Γιατί έχει σημασία
- Πρόσβαση και προσέγγιση χρηστών. Βελτιώνει την προσβασιμότητα μέσω διασυνδέσεων μεταγραφής, αφήγησης και φωνής.
- Κόστος και προϋπολογισμός. Οι ομάδες πολυμέσων μπορούν να αποστέλλουν γυαλισμένο ήχο πιο γρήγορα με μικρότερους προϋπολογισμούς.
- Ταχύτητα και κλίμακα. Τα συστήματα που αντιμετωπίζουν πελάτες μπορούν να επεξεργάζονται προφορικές αλληλεπιδράσεις σε μεγαλύτερη κλίμακα.
Προσέξτε
- Οι κίνδυνοι κατάχρησης φωνής και πλαστοπροσωπίας αυξάνονται όταν λείπει η συγκατάθεση.
- Η ακρίβεια μπορεί να πέσει σε τόνους, διαλέκτους ή θορυβώδη περιβάλλοντα.
- Ο συνθετικός ήχος μπορεί να εκληφθεί εσφαλμένα ως αυθεντική ομιλία χωρίς σαφή σήμανση.
Επόμενα βήματα
- Λάβετε ρητή συγκατάθεση για λήψη φωνής, κλωνοποίηση και επαναχρησιμοποίηση.
- Δοκιμάστε την ποιότητα σε διαφορετικά ηχεία και συνθήκες φόντου.
- Καθορίστε πότε ένας άνθρωπος πρέπει να επανεξετάσει ή να εγκρίνει τα αποτελέσματα.
- Επισημάνετε τον συνθετικό ήχο και κρατήστε αρχεία προέλευσης για υπευθυνότητα.
Συνεχίστε την εξερεύνηση
Δωρεάν ενημερωτικό δελτίο
Λάβετε την καθημερινή ενημέρωση AI
Τρία επαληθευμένα νέα AI κάθε πρωί της εβδομάδας, γραμμένα σε απλή αγγλική. Δωρεάν για πάντα, χωρίς διαφημίσεις.
Ένα email κάθε εργάσιμη ημέρα. Κατάργηση συνδρομής με ένα κλικ. Δεν πουλάμε ή μοιραζόμαστε ποτέ τη διεύθυνσή σας.
Δοκιμάστε τον εαυτό σας
Take the EnCodec Audio Compression quiz
Άμεση ανάδραση σε κάθε απάντηση, και πιστοποιητικό με επαληθεύσιμο ID μόλις περάσετε το μάθημα.
Υποστηρίξτε τη δωρεάν εκπαίδευση AI. AI Understanding είναι μια μη κερδοσκοπική οργάνωση 501(c)(3) — χωρίς διαφημίσεις, χωρίς τοίχο πληρωμής, ποτέ. Κάντε μια δωρεά
Συχνές ερωτήσεις
What is EnCodec Audio Compression?
Το EnCodec είναι ο νευρωνικός κωδικοποιητής ήχου υψηλής πιστότητας του Meta που συμπιέζει την ομιλία και τη μουσική σε πολύ χαμηλούς ρυθμούς bit με ποιότητα που συναγωνίζεται πολύ πιο βαριές μορφές. Έχει σημασία γιατί υποστηρίζει τα σύγχρονα παραγωγικά συστήματα ήχου και αποστέλλονται σε μορφή ανοιχτού κώδικα για χρήση από οποιονδήποτε.
Ποιος οργανισμός κυκλοφόρησε το EnCodec;
Το EnCodec εισήχθη από Meta AI (FAIR) το 2022 ως νευρωνικός κωδικοποιητής ήχου υψηλής πιστότητας.
Ποιο επιπλέον στοιχείο προσθέτει το EnCodec για να συμπιέζει χωρίς απώλειες περισσότερη συμπίεση από τα διακριτικά του;
Το EnCodec εκπαιδεύει έναν μικρό μετασχηματιστή για να προβλέψει τις πιθανότητες συμβολαίων και να τις κωδικοποιήσει αριθμητικά, επιτυγχάνοντας πρόσθετη συμπίεση χωρίς απώλειες πάνω από το RVQ.
Στα 6 kbps περίπου, η ποιότητα του EnCodec αναφέρθηκε ως συγκρίσιμη με το MP3 με ποιο ρυθμό bit;
Το EnCodec στα 6 kbps φτάνει σε υποκειμενική ποιότητα παρόμοια με το MP3 στα 64 kbps, ένα μεγάλο κέρδος απόδοσης.
Τι πρόβλημα λύνει το 'balancer' του EnCodec κατά τη διάρκεια της προπόνησης;
Με πολλές απώλειες (ανακατασκευή, φασματικές, αντίθετες), ο εξισορροπητής επανακλιμακώνει τις κλίσεις τους, έτσι ώστε να μην κυριαρχεί μεμονωμένος στόχος, σταθεροποιώντας την εκπαίδευση.
Ποια μέθοδο κβαντισμού πυρήνα μοιράζεται το EnCodec με το SoundStream;
Όπως το SoundStream, το EnCodec χρησιμοποιεί υπολειπόμενη διανυσματική κβαντοποίηση για να διακριτοποιήσει τις ενσωματώσεις κωδικοποιητών σε στοιβαγμένους δείκτες βιβλίου κωδίκων.
Συνέχισε να μαθαίνεις
Σχετικοί οδηγοί
Επιλέχθηκαν περισσότεροι οδηγοί για αυτό το θέμα