ΕπόμενοΕπόμενος οδηγός
Μοντελοποίηση Προσωδίας
Ήχος AI
ΟΔΗΓΟΣ Audio AI
Τακότρον 2
Το Tacotron 2 είναι ένα σύστημα μετατροπής κειμένου σε ομιλία από άκρο σε άκρο από το Google (2017) που μετατρέπει το γραπτό κείμενο απευθείας σε φασματογράφημα mel, το οποίο ένας νευρικός φωνοκωδικοποιητής μετατρέπει σε ρεαλιστική ομιλία.
Ακούστε αυτόν τον οδηγόαφήγηση με AI · ~2 min
Σε αυτήν τη σελίδα2 λεπτά ανάγνωση
Επισκόπηση
Παρήγαγε ήχο ανταγωνιστικές ανθρώπινες ηχογραφήσεις σε βασικά σημεία αναφοράς.
Βαθιά κατάδυση
Το Tacotron 2 έχει δύο κύρια μέρη. Πρώτον, ένα δίκτυο αλληλουχίας σε ακολουθία με προσοχή διαβάζει χαρακτήρες του κειμένου και προβλέπει ένα φασματογράφημα mel καρέ προς καρέ. Ένας κωδικοποιητής μετατρέπει τους χαρακτήρες σε κρυφές αναπαραστάσεις, ένας μηχανισμός προσοχής που είναι ευαίσθητος στη θέση ευθυγραμμίζει το κείμενο με τα ηχητικά πλαίσια και ένας αυτοπαλινδρομικός αποκωδικοποιητής εκπέμπει το φασματογράφημα ενώ ένα 'stop token' μαθαίνει πότε τελειώνει η έκφραση. Δεύτερον, ένας τροποποιημένος κωδικοποιητής φωνής WaveNet μετατρέπει αυτό το φασματογράφημα mel σε μια ακατέργαστη κυματομορφή. Διαχωρίζοντας το πρόβλημα με αυτόν τον τρόπο, το Tacotron 2 μαθαίνει την προσωδία, την προφορά και τον ρυθμό από δεδομένα με ελάχιστη μηχανική χειρός. Πέτυχε μια μέση βαθμολογία γνώμης κοντά σε επαγγελματικές ηχογραφήσεις, καθιστώντας το ορόσημο στη σύνθεση φυσικού ήχου και πρότυπο για μεταγενέστερα νευρωνικά TTS.
Υλοποίηση σε πραγματικό κόσμο
Ενίσχυση φωνών με φυσικό ήχο στα προϊόντα και τους βοηθούς μετατροπής κειμένου σε ομιλία του Google
Δημιουργία εκφραστικής αφήγησης για ηχητικά βιβλία και podcast
Παροχή φωνών για προγράμματα ανάγνωσης οθόνης και λογισμικό προσβασιμότητας
Χρησιμεύει ως βάση έρευνας και παράδειγμα διδασκαλίας για νευρικούς αγωγούς TTS
Το μέλλον του Tacotron 2
Ο σχεδιασμός δύο σταδίων του Tacotron 2 ενέπνευσε ένα κύμα νευρωνικών TTS. Οι γρηγορότεροι μη-αυτοπαλιναγωγικοί διάδοχοι όπως το FastSpeech 2 αφαίρεσαν τον διαδοχικό αποκωδικοποιητή για ταχύτητα και σταθερότητα και ο κωδικοποιητής φωνής WaveNet ανταλλάσσεται συχνά με μοντέλα HiFi-GAN ή διάχυσης. Το πεδίο κινείται προς συστήματα κλωνοποίησης φωνής πλήρως από άκρο σε άκρο και πολλαπλών ηχείων, εκφραστικών και μηδενικής λήψης, αλλά το Tacotron 2 παραμένει μια θεμελιώδης αναφορά για αγωγούς που βασίζονται σε φασματογράμματα.
Κάνοντάς το στην πράξη
Γιατί έχει σημασία
- Πρόσβαση και προσέγγιση χρηστών. Βελτιώνει την προσβασιμότητα μέσω διασυνδέσεων μεταγραφής, αφήγησης και φωνής.
- Κόστος και προϋπολογισμός. Οι ομάδες πολυμέσων μπορούν να αποστέλλουν γυαλισμένο ήχο πιο γρήγορα με μικρότερους προϋπολογισμούς.
- Ταχύτητα και κλίμακα. Τα συστήματα που αντιμετωπίζουν πελάτες μπορούν να επεξεργάζονται προφορικές αλληλεπιδράσεις σε μεγαλύτερη κλίμακα.
Προσέξτε
- Οι κίνδυνοι κατάχρησης φωνής και πλαστοπροσωπίας αυξάνονται όταν λείπει η συγκατάθεση.
- Η ακρίβεια μπορεί να πέσει σε τόνους, διαλέκτους ή θορυβώδη περιβάλλοντα.
- Ο συνθετικός ήχος μπορεί να εκληφθεί εσφαλμένα ως αυθεντική ομιλία χωρίς σαφή σήμανση.
Επόμενα βήματα
- Λάβετε ρητή συγκατάθεση για λήψη φωνής, κλωνοποίηση και επαναχρησιμοποίηση.
- Δοκιμάστε την ποιότητα σε διαφορετικά ηχεία και συνθήκες φόντου.
- Καθορίστε πότε ένας άνθρωπος πρέπει να επανεξετάσει ή να εγκρίνει τα αποτελέσματα.
- Επισημάνετε τον συνθετικό ήχο και κρατήστε αρχεία προέλευσης για υπευθυνότητα.
Συνεχίστε την εξερεύνηση
Δωρεάν ενημερωτικό δελτίο
Λάβετε την καθημερινή ενημέρωση AI
Τρία επαληθευμένα νέα AI κάθε πρωί της εβδομάδας, γραμμένα σε απλή αγγλική. Δωρεάν για πάντα, χωρίς διαφημίσεις.
Ένα email κάθε εργάσιμη ημέρα. Κατάργηση συνδρομής με ένα κλικ. Δεν πουλάμε ή μοιραζόμαστε ποτέ τη διεύθυνσή σας.
Δοκιμάστε τον εαυτό σας
Take the Tacotron 2 quiz
Άμεση ανάδραση σε κάθε απάντηση, και πιστοποιητικό με επαληθεύσιμο ID μόλις περάσετε το μάθημα.
Υποστηρίξτε τη δωρεάν εκπαίδευση AI. AI Understanding είναι μια μη κερδοσκοπική οργάνωση 501(c)(3) — χωρίς διαφημίσεις, χωρίς τοίχο πληρωμής, ποτέ. Κάντε μια δωρεά
Συχνές ερωτήσεις
Τι είναι το Tacotron 2;
Το Tacotron 2 είναι ένα σύστημα μετατροπής κειμένου σε ομιλία από άκρο σε άκρο από το Google (2017) που μετατρέπει το γραπτό κείμενο απευθείας σε φασματογράφημα mel, το οποίο ένας νευρικός φωνοκωδικοποιητής μετατρέπει σε ρεαλιστική ομιλία. Παρήγαγε ήχο ανταγωνιστικές ανθρώπινες ηχογραφήσεις σε βασικά σημεία αναφοράς.
Ποια ενδιάμεση αναπαράσταση προβλέπει το Tacotron 2 από το κείμενο;
Το δίκτυο αλληλουχίας σε ακολουθία του Tacotron 2 προβλέπει ένα φασματογράφημα mel, το οποίο ένας φωνοκωδικοποιητής στη συνέχεια μετατρέπει σε ήχο.
Τι μετατρέπει το φασματόγραμμα του Tacotron 2 σε πραγματική κυματομορφή;
Το Tacotron 2 ζευγαρώνει το φασματογράμμα πρόβλεψής του με έναν τροποποιημένο κωδικοποιητή φωνής WaveNet για να δημιουργήσει τον τελικό ακατέργαστο ήχο.
Ποιο πρόβλημα βοηθά στην πρόληψη της προσοχής με ευαισθησία στην τοποθεσία;
Λαμβάνοντας υπόψη προηγούμενες ευθυγραμμίσεις, η προσοχή που είναι ευαίσθητη στη θέση μειώνει τις αστοχίες όπως η επανάληψη ή η απόρριψη λέξεων.
How does Tacotron 2 determine that it has generated the end of an utterance?
Tacotron 2 predicts a stop token alongside mel frames; generation ends when the learned stopping condition is met.
Ποιο γενικό στυλ αρχιτεκτονικής χρησιμοποιεί το τμήμα κειμένου σε φασματόγραμμα;
Το Tacotron 2 χρησιμοποιεί ένα μοντέλο κωδικοποιητή-αποκωδικοποιητή αλληλουχίας σε ακολουθία με προσοχή στους χαρακτήρες χαρτογράφησης σε πλαίσια φασματογράμματος.
Συνέχισε να μαθαίνεις
Σχετικοί οδηγοί
Επιλέχθηκαν περισσότεροι οδηγοί για αυτό το θέμα