MelGAN Generative Vocoder
Το MelGAN είναι ένας πλήρως συνελικτικός φωνοκωδικοποιητής που βασίζεται σε GAN που μετατρέπει τα φασματογράμματα mel σε ακατέργαστες κυματομορφές ήχου με ένα μόνο γρήγορο πέρασμα προς τα εμπρός.
Επισκόπηση
It mattered because it proved high-quality, non-autoregressive speech synthesis could run hundreds of times faster than real time on a GPU.
Βαθιά κατάδυση
Το MelGAN, που εισήχθη από τον Kumar et al. το 2019, παράγει ήχο χωρίς τον αργό βρόχο δείγμα προς δείγμα που χρησιμοποιείται από το WaveNet. Η γεννήτριά του είναι μια στοίβα μετατιθέμενων περιελίξεων που δειγματοληπτικά ένα φασματογράφημα mel (συνήθως 80 ζώνες συχνοτήτων) μέχρι τον ρυθμό δειγματοληψίας ήχου, με υπολειμματικά μπλοκ που χρησιμοποιούν διευρυμένες περιελίξεις για τη διεύρυνση του δεκτικού πεδίου. Η βασική καινοτομία ήταν η εκπαίδευση με πολλαπλούς διακριτές που λειτουργούσαν σε διαφορετικές κλίμακες ήχου (η αρχική κυματομορφή συν εκδόσεις με μειωμένη δειγματοληψία), καθένας από τους οποίους κοιτούσε σε επικαλυπτόμενα παράθυρα. Μια απώλεια αντιστοίχισης χαρακτηριστικών συγκρίνει τις ενεργοποιήσεις διακρίσεων μεταξύ πραγματικού και ψεύτικου ήχου, σταθεροποιώντας την εκπαίδευση GAN. Το μοντέλο είναι μικροσκοπικό σύμφωνα με τα πρότυπα νευρωνικού ήχου και τρέχει πιο γρήγορα από τον πραγματικό χρόνο ακόμη και σε CPU, καθιστώντας το πρακτικό για ενσωματωμένη και στη συσκευή μετατροπή κειμένου σε ομιλία.
Τεχνική διορατικότητα
Ο πολλαπλός διαχωριστής κλίμακας του MelGAN χρησιμοποιεί τρία πανομοιότυπα δίκτυα που εξετάζουν τον ήχο σε πλήρη, μισή και τέταρτη ανάλυση, καθένα από τα οποία καταγράφει δομή σε διαφορετικές περιοχές συχνοτήτων. Κυρίως, το MelGAN βασίζεται σε απώλεια αντιστοίχισης χαρακτηριστικών (απόσταση L1 μεταξύ χαρτών χαρακτηριστικών χαρακτηριστικών διαχωρισμού πραγματικού έναντι παραγόμενου ήχου) αντί για ρητή απώλεια ανακατασκευής φασματογράμματος, η οποία ενθαρρύνει τη γεννήτρια να ταιριάζει με τα στατιστικά στοιχεία του πραγματικού ήχου επίπεδο προς στρώμα.
Στρατηγικός αντίκτυπος
Πρόσβαση και προσέγγιση χρηστών
Βελτιώνει την προσβασιμότητα μέσω διασυνδέσεων μεταγραφής, αφήγησης και φωνής.
Κόστος και προϋπολογισμός
Οι ομάδες πολυμέσων μπορούν να αποστέλλουν γυαλισμένο ήχο πιο γρήγορα με μικρότερους προϋπολογισμούς.
Ταχύτητα και κλίμακα
Τα συστήματα που αντιμετωπίζουν πελάτες μπορούν να επεξεργάζονται προφορικές αλληλεπιδράσεις σε μεγαλύτερη κλίμακα.
Το μέλλον του MelGAN Generative Vocoder
Ο MelGAN δημιούργησε μια οικογένεια κωδικοποιητών φωνής GAN. Οι διάδοχοί του, το HiFi-GAN και το UnivNet, διατήρησαν τη γρήγορη μη-αυτοπαλινδρομική προσέγγιση, αλλά πρόσθεσαν διακρίσεις πολλαπλών περιόδων και πολλαπλών αναλύσεων για καθαρότερες υψηλές συχνότητες. Η αρχιτεκτονική ζει σε TTS εντός συσκευής και ροής, όπου ο λανθάνοντας χρόνος και το μέγεθος του μοντέλου έχουν σημασία, και οι ιδέες της για διαχωρισμό συνεχίζουν να επηρεάζουν τους νευρικούς κωδικοποιητές και τα συστήματα παραγωγής μουσικής όπου η αντίπαλη εκπαίδευση βελτιώνει την αντιληπτική ποιότητα.
Υλοποίηση σε πραγματικό κόσμο
Μετατροπή κειμένου σε ομιλία στη συσκευή σε φορητούς βοηθούς, όπου ένας μικρός, γρήγορος κωδικοποιητής φωνής αποφεύγει τις μετακινήσεις στο σύννεφο
Σωληνώσεις μετατροπής φωνής σε πραγματικό χρόνο που μετατρέπουν το φασματογράφημα mel ενός ομιλητή σε φωνή-στόχο
Εργαλεία παιχνιδιών και κινούμενων σχεδίων που συνθέτουν διαλόγους χαρακτήρων από δημιουργημένα φασματογράμματα με χαμηλή καθυστέρηση
Βασικές γραμμές έρευνας για GAN ήχου, όπου η απώλεια αντιστοίχισης χαρακτηριστικών του MelGAN επαναχρησιμοποιείται για τη δημιουργία μουσικής και ηχητικών εφέ
Κίνδυνοι & προστατευτικά κιγκλιδώματα
Οι κίνδυνοι κατάχρησης φωνής και πλαστοπροσωπίας αυξάνονται όταν λείπει η συγκατάθεση.
Η ακρίβεια μπορεί να πέσει σε τόνους, διαλέκτους ή θορυβώδη περιβάλλοντα.
Ο συνθετικός ήχος μπορεί να εκληφθεί εσφαλμένα ως αυθεντική ομιλία χωρίς σαφή σήμανση.
Οδικός Χάρτης Εφαρμογής
Λάβετε ρητή συγκατάθεση για λήψη φωνής, κλωνοποίηση και επαναχρησιμοποίηση.
Δοκιμάστε την ποιότητα σε διαφορετικά ηχεία και συνθήκες φόντου.
Καθορίστε πότε ένας άνθρωπος πρέπει να επανεξετάσει ή να εγκρίνει τα αποτελέσματα.
Επισημάνετε τον συνθετικό ήχο και κρατήστε αρχεία προέλευσης για υπευθυνότητα.
Συνεχίστε την εξερεύνηση
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the MelGAN Generative Vocoder quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Επόμενος οδηγός
DiffWave Diffusion Vocoder
Συχνές ερωτήσεις
What is MelGAN Generative Vocoder?
Το MelGAN είναι ένας πλήρως συνελικτικός φωνοκωδικοποιητής που βασίζεται σε GAN που μετατρέπει τα φασματογράμματα mel σε ακατέργαστες κυματομορφές ήχου με ένα μόνο γρήγορο πέρασμα προς τα εμπρός. Είχε σημασία γιατί αποδείχθηκε ότι η σύνθεση ομιλίας υψηλής ποιότητας, μη αυτοπαλινδρομική μπορούσε να εκτελεστεί εκατοντάδες φορές πιο γρήγορα από τον πραγματικό χρόνο σε μια GPU.
Ποια είσοδο μετατρέπει το MelGAN σε ακατέργαστη κυματομορφή ήχου;
Το MelGAN είναι ένας φωνοκωδικοποιητής: παίρνει μια αναπαράσταση ακουστικών χαρακτηριστικών, το φασματόγραμμα mel, και συνθέτει την αντίστοιχη κυματομορφή.
Γιατί το MelGAN είναι πολύ πιο γρήγορο από το WaveNet στο συμπέρασμα;
Το WaveNet δημιουργεί δείγματα ένα κάθε φορά αυτοπαλινδρομικά. Η συνελικτική γεννήτρια του MelGAN παράγει ολόκληρη την κυματομορφή σε ένα παράλληλο πέρασμα προς τα εμπρός.
Ποιο διακριτικό σχέδιο διάκρισης εισήγαγε η MelGAN;
Το MelGAN χρησιμοποιεί πολλαπλούς πανομοιότυπους διαχωριστές που εξετάζουν την αρχική κυματομορφή και τις εκδόσεις με μειωμένο δείγμα για να καταγράψουν τη δομή σε διαφορετικές κλίμακες.
Ποια απώλεια βοηθά στη σταθεροποίηση της αντίπαλης εκπαίδευσης του MelGAN;
Η απώλεια αντιστοίχισης χαρακτηριστικών ελαχιστοποιεί την απόσταση L1 μεταξύ των χαρτών χαρακτηριστικών του διαχωριστή για πραγματικό και παραγόμενο ήχο, καθοδηγώντας τη γεννήτρια και σταθεροποιώντας την εκπαίδευση.
Πώς η γεννήτρια MelGAN αυξάνει το δεκτικό της πεδίο;
Τα υπολειμματικά μπλοκ με διευρυμένες περιελίξεις διευρύνουν αποτελεσματικά το δεκτικό πεδίο, επιτρέποντας στη γεννήτρια να διαμορφώσει τη χρονική δομή μεγάλης εμβέλειας.