ΕπόμενοΕπόμενος οδηγός
Παράλληλος φωνοκωδικοποιητής WaveGAN
Ήχος AI
ΟΔΗΓΟΣ Audio AI
HiFi-GAN και GAN Vocoders
Το HiFi-GAN είναι ένας γενεσιουργός-αντίπαλος φωνοκωδικοποιητής που μετατρέπει ένα φασματογράφημα mel σε ακατέργαστη κυματομορφή ήχου σχεδόν αμέσως, παράγοντας ομιλία ποιότητας στούντιο πολύ πιο γρήγορα από τον πραγματικό χρόνο.
Ακούστε αυτόν τον οδηγόαφήγηση με AI · ~2 min
Σε αυτήν τη σελίδα2 λεπτά ανάγνωση
Επισκόπηση
It became the standard final stage of modern text-to-speech because it is fast, lightweight, and hard to distinguish from real recordings.
Βαθιά κατάδυση
Ένας φωνοκωδικοποιητής είναι το τελευταίο βήμα στους περισσότερους αγωγούς TTS: ένα μοντέλο όπως το Tacotron ή το FastSpeech προβλέπει ένα φασματογράφημα mel (μια συμπαγή εικόνα της συχνότητας με την πάροδο του χρόνου) και ο κωδικοποιητής φωνής συμπληρώνει τα πραγματικά δείγματα κυματομορφής. Οι πρώιμοι νευρωνικοί φωνοκωδικοποιητές όπως το WaveNet ακούγονταν υπέροχοι, αλλά παρήγαγαν ήχο δείγμα προς δείγμα, καθιστώντας τους οδυνηρά αργούς. Το HiFi-GAN, που κυκλοφόρησε από τους Kong, Kim και Bae το 2020, αντικατέστησε αυτόν τον αυτοπαλινδρομικό βρόχο με μια ενιαία γεννήτρια προώθησης τροφοδοσίας που εκπαιδεύτηκε αντίθετα. Το βασικό του κόλπο είναι η χρήση πολλαπλών διακριτικών που κρίνουν τον ήχο σε διαφορετικές κλίμακες και σε διαφορετικά περιοδικά μοτίβα, αναγκάζοντας τη γεννήτρια να έχει σωστή υφή και την περιοδικότητα του τόνου. Το αποτέλεσμα είναι ομιλία 22 kHz που συντίθεται εκατοντάδες φορές πιο γρήγορα από τον πραγματικό χρόνο σε μια GPU, με ποιοτικό ήχο που συναγωνίζεται την αλήθεια εδάφους.
Υλοποίηση σε πραγματικό κόσμο
Δημιουργία της ομιλούμενης εξόδου εικονικών βοηθών και εφαρμογών πλοήγησης που χρειάζονται απαντήσεις χωρίς ηχητική καθυστέρηση.
Ενίσχυση εργαλείων κλωνοποίησης φωνής και μεταγλώττισης σε πραγματικό χρόνο όπου ένα κλωνοποιημένο φασματογράφημα mel αποδίδεται σε ήχο φυσικού ήχου.
Οδηγώντας πλατφόρμες αφήγησης ακουστικών βιβλίων και podcast που συνθέτουν ώρες ομιλίας γρήγορα και οικονομικά.
Λειτουργεί ως στάδιο κυματομορφής μέσα σε συνθεσάιζερ τραγουδιού-φωνής και επιδείξεις μουσικής μέσω καθολικών φωνοκωδικοποιητών τύπου BigVGAN.
Το μέλλον των φωνοκωδικοποιητών HiFi-GAN και GAN
Οι φωνοκωδικοποιητές GAN γίνονται όλο και μικρότεροι και πιο γρήγοροι: απόγονοι όπως το BigVGAN προσθέτουν ενεργοποιήσεις κατά του ψευδώνυμου για να γενικεύουν σε μη εμφανείς τραγουδιστές, όργανα και γλώσσες, ενώ το UnivNet και το Vocos πιέζουν προς την καθολική σύνθεση όλων των ζωνών. Οι παραλλαγές ροής και στη συσκευή εκτελούν πλέον κωδικοποίηση φωνής σε τηλέφωνα και ακουστικά για βοηθούς χαμηλής καθυστέρησης. Όλο και περισσότερο, τα μοντέλα ήχου διάχυσης και αντιστοίχισης ροής αποστάζονται σε γεννήτριες single-pass τύπου GAN, συνδυάζοντας την πιστότητα της διάχυσης με την ταχύτητα GAN. Αναμένετε ότι οι κωδικοποιητές φωνής θα εξασθενίσουν σε νευρικούς κωδικοποιητές ήχου γενικής χρήσης που τροφοδοτούν τόσο την ομιλία όσο και τη μουσική.
Κάνοντάς το στην πράξη
Γιατί έχει σημασία
- Πρόσβαση και προσέγγιση χρηστών. Βελτιώνει την προσβασιμότητα μέσω διασυνδέσεων μεταγραφής, αφήγησης και φωνής.
- Κόστος και προϋπολογισμός. Οι ομάδες πολυμέσων μπορούν να αποστέλλουν γυαλισμένο ήχο πιο γρήγορα με μικρότερους προϋπολογισμούς.
- Ταχύτητα και κλίμακα. Τα συστήματα που αντιμετωπίζουν πελάτες μπορούν να επεξεργάζονται προφορικές αλληλεπιδράσεις σε μεγαλύτερη κλίμακα.
Προσέξτε
- Οι κίνδυνοι κατάχρησης φωνής και πλαστοπροσωπίας αυξάνονται όταν λείπει η συγκατάθεση.
- Η ακρίβεια μπορεί να πέσει σε τόνους, διαλέκτους ή θορυβώδη περιβάλλοντα.
- Ο συνθετικός ήχος μπορεί να εκληφθεί εσφαλμένα ως αυθεντική ομιλία χωρίς σαφή σήμανση.
Επόμενα βήματα
- Λάβετε ρητή συγκατάθεση για λήψη φωνής, κλωνοποίηση και επαναχρησιμοποίηση.
- Δοκιμάστε την ποιότητα σε διαφορετικά ηχεία και συνθήκες φόντου.
- Καθορίστε πότε ένας άνθρωπος πρέπει να επανεξετάσει ή να εγκρίνει τα αποτελέσματα.
- Επισημάνετε τον συνθετικό ήχο και κρατήστε αρχεία προέλευσης για υπευθυνότητα.
Συνεχίστε την εξερεύνηση
Δωρεάν ενημερωτικό δελτίο
Λάβετε την καθημερινή ενημέρωση AI
Τρία επαληθευμένα νέα AI κάθε πρωί της εβδομάδας, γραμμένα σε απλή αγγλική. Δωρεάν για πάντα, χωρίς διαφημίσεις.
Ένα email κάθε εργάσιμη ημέρα. Κατάργηση συνδρομής με ένα κλικ. Δεν πουλάμε ή μοιραζόμαστε ποτέ τη διεύθυνσή σας.
Δοκιμάστε τον εαυτό σας
Take the HiFi-GAN and GAN Vocoders quiz
Άμεση ανάδραση σε κάθε απάντηση, και πιστοποιητικό με επαληθεύσιμο ID μόλις περάσετε το μάθημα.
Υποστηρίξτε τη δωρεάν εκπαίδευση AI. AI Understanding είναι μια μη κερδοσκοπική οργάνωση 501(c)(3) — χωρίς διαφημίσεις, χωρίς τοίχο πληρωμής, ποτέ. Κάντε μια δωρεά
Συχνές ερωτήσεις
What is HiFi-GAN and GAN Vocoders?
Το HiFi-GAN είναι ένας γενεσιουργός-αντίπαλος φωνοκωδικοποιητής που μετατρέπει ένα φασματογράφημα mel σε ακατέργαστη κυματομορφή ήχου σχεδόν αμέσως, παράγοντας ομιλία ποιότητας στούντιο πολύ πιο γρήγορα από τον πραγματικό χρόνο. Έγινε το τυπικό τελικό στάδιο της σύγχρονης μετατροπής κειμένου σε ομιλία, επειδή είναι γρήγορο, ελαφρύ και δύσκολο να διακριθεί από τις πραγματικές ηχογραφήσεις.
Ποια είναι η κύρια δουλειά ενός κωδικοποιητή φωνής όπως το HiFi-GAN σε μια διοχέτευση κειμένου σε ομιλία;
Ένας φωνοκωδικοποιητής είναι το τελικό στάδιο που συνθέτει πραγματικά δείγματα κυματομορφής από το φασματογράφημα mel που παράγεται από ένα ακουστικό μοντέλο.
Γιατί το HiFi-GAN είναι πολύ πιο γρήγορο από τον προηγούμενο κωδικοποιητή φωνής WaveNet;
Το WaveNet παρήγαγε δείγματα ήχου ανά δείγμα (αυτοπαλινδρομικά), ενώ η γεννήτρια προώθησης τροφοδοσίας του HiFi-GAN εξάγει την κυματομορφή σε μία λήψη, επιτυγχάνοντας πολύ μεγαλύτερη ταχύτητα από τον πραγματικό χρόνο.
Τι βοηθάει συγκεκριμένα στην καταγραφή το Multi-Period Discriminator του HiFi-GAN;
Το Multi-Period Discriminator αναδιαμορφώνει την κυματομορφή 1D σε 2D χρησιμοποιώντας περιόδους με πρώτους αριθμούς για να ανιχνεύσει την περιοδική δομή που συνδέεται με το βήμα.
Οι φωνοκωδικοποιητές GAN εκπαιδεύονται «αντίπαλα». Τι σημαίνει αυτό εδώ;
Σε μια εγκατάσταση GAN, η γεννήτρια μαθαίνει να παράγει κυματομορφές αρκετά ρεαλιστικές ώστε να ξεγελάει τα δίκτυα διακριτικών που είναι εκπαιδευμένα να ξεχωρίζουν τον πραγματικό από τον συνθετικό ήχο.
Ποιος μεταγενέστερος φωνοκωδικοποιητής επεκτείνει το HiFi-GAN για να γενικεύσει καλύτερα σε αόρατες φωνές, τραγούδια και όργανα;
Το BigVGAN κλιμακώνει το HiFi-GAN και προσθέτει περιοδικές ενεργοποιήσεις κατά του ψευδώνυμου, βελτιώνοντας τη γενίκευση σε ήχο εκτός διανομής, όπως τραγούδι και όργανα.
Συνέχισε να μαθαίνεις
Σχετικοί οδηγοί
Επιλέχθηκαν περισσότεροι οδηγοί για αυτό το θέμα