ΕπόμενοΕπόμενος οδηγός
FastPitch Pitch-Controllable TTS
Ήχος AI
ΟΔΗΓΟΣ Audio AI
Μονοτονική ευθυγράμμιση Glow-TTS
Το Glow-TTS είναι ένα μοντέλο μετατροπής κειμένου σε ομιλία που μαθαίνει να ευθυγραμμίζει από μόνο του το κείμενο με την ομιλία χρησιμοποιώντας ένα έξυπνο τέχνασμα αναζήτησης, καταργώντας την ανάγκη για ξεχωριστή ευθυγράμμιση.
Ακούστε αυτόν τον οδηγόαφήγηση με AI · ~2 min
Σε αυτήν τη σελίδα2 λεπτά ανάγνωση
Επισκόπηση
It matters because it makes training simpler and synthesis fast and parallel.
Βαθιά κατάδυση
Το Glow-TTS, το οποίο εισήχθη από τον Kim και τους συνεργάτες του το 2020, δημιουργεί ένα φασματογράφημα mel από κείμενο χρησιμοποιώντας έναν αποκωδικοποιητή που βασίζεται στη ροή και έναν ενσωματωμένο μηχανισμό ευθυγράμμισης που ονομάζεται Μονοτονική αναζήτηση ευθυγράμμισης (MAS). Παλαιότερα συστήματα TTS όπως το Tacotron 2 χρησιμοποιούσαν την προσοχή για να αποφασίσουν ποιος χαρακτήρας κειμένου ταιριάζει με ποιο πλαίσιο ήχου, αλλά η προσοχή μπορεί να παραλείψει λέξεις, να τις επαναλάβει ή να σπάσει σε μεγάλες προτάσεις. Αντίθετα, το Glow-TTS υποθέτει ότι η στοίχιση πρέπει να είναι μονότονη (το κείμενο διαβάζεται από αριστερά προς τα δεξιά) και επιφανειακή (κάθε διακριτικό κειμένου αντιστοιχεί σε τουλάχιστον ένα πλαίσιο). Χρησιμοποιεί δυναμικό προγραμματισμό για να βρει την πιο πιθανή τέτοια ευθυγράμμιση κατά τη διάρκεια της προπόνησης και, στη συνέχεια, ένας προγνωστικός δείκτης μικρής διάρκειας μαθαίνει να τον αναπαράγει στο συμπέρασμα. Αυτό αποδίδει ισχυρή, παράλληλη και ελεγχόμενη παραγωγή ομιλίας.
Υλοποίηση σε πραγματικό κόσμο
Εκπαίδευση μιας ισχυρής φωνής αφηγητή ηχητικού βιβλίου που δεν παραλείπει ή επαναλαμβάνει ποτέ λέξεις σε μεγάλες παραγράφους
Ενίσχυση του σταδίου ευθυγράμμισης των βοηθών φωνής ανοιχτού κώδικα που βασίζονται σε VITS και των συσκευών ανάγνωσης οθόνης
Δημιουργία ελεγχόμενου TTS όπου τεντώνετε ή συμπιέζετε τις διάρκειες φωνημάτων για αργή, καθαρή προφορά σε εφαρμογές εκμάθησης γλώσσας
Δημιουργία συνθετικών συνόλων δεδομένων ομιλίας για γλώσσες χαμηλών πόρων όπου τα δεδομένα με το χέρι είναι λιγοστά
Το μέλλον της μονοτονικής ευθυγράμμισης Glow-TTS
Η ιδέα της μονοτονικής ευθυγράμμισης που πρωτοστάτησε από το Glow-TTS στηρίζει τώρα πολλά σύγχρονα μη αυτοπαλινδρομικά συστήματα, συμπεριλαμβανομένου του VITS, το οποίο το συνδυάζει με έναν φωνοκωδικοποιητή για δημιουργία κυματομορφών από άκρο σε άκρο. Αναμένετε συνεχή χρήση της σκληρής στοίχισης τύπου MAS σε γλώσσες χαμηλών πόρων, φωνές σε πραγματικό χρόνο στη συσκευή και ελεγχόμενη ομιλία όπου η διάρκεια, ο τόνος και ο ρυθμός πρέπει να επεξεργάζονται ρητά. Τα TTS διάχυσης και αντιστοίχισης ροής δανείζονται όλο και περισσότερο αυτήν την καθαρή αντιστοίχιση κειμένου σε καρέ για σταθερότητα.
Κάνοντάς το στην πράξη
Γιατί έχει σημασία
- Πρόσβαση και προσέγγιση χρηστών. Βελτιώνει την προσβασιμότητα μέσω διασυνδέσεων μεταγραφής, αφήγησης και φωνής.
- Κόστος και προϋπολογισμός. Οι ομάδες πολυμέσων μπορούν να αποστέλλουν γυαλισμένο ήχο πιο γρήγορα με μικρότερους προϋπολογισμούς.
- Ταχύτητα και κλίμακα. Τα συστήματα που αντιμετωπίζουν πελάτες μπορούν να επεξεργάζονται προφορικές αλληλεπιδράσεις σε μεγαλύτερη κλίμακα.
Προσέξτε
- Οι κίνδυνοι κατάχρησης φωνής και πλαστοπροσωπίας αυξάνονται όταν λείπει η συγκατάθεση.
- Η ακρίβεια μπορεί να πέσει σε τόνους, διαλέκτους ή θορυβώδη περιβάλλοντα.
- Ο συνθετικός ήχος μπορεί να εκληφθεί εσφαλμένα ως αυθεντική ομιλία χωρίς σαφή σήμανση.
Επόμενα βήματα
- Λάβετε ρητή συγκατάθεση για λήψη φωνής, κλωνοποίηση και επαναχρησιμοποίηση.
- Δοκιμάστε την ποιότητα σε διαφορετικά ηχεία και συνθήκες φόντου.
- Καθορίστε πότε ένας άνθρωπος πρέπει να επανεξετάσει ή να εγκρίνει τα αποτελέσματα.
- Επισημάνετε τον συνθετικό ήχο και κρατήστε αρχεία προέλευσης για υπευθυνότητα.
Συνεχίστε την εξερεύνηση
Δωρεάν ενημερωτικό δελτίο
Λάβετε την καθημερινή ενημέρωση AI
Τρία επαληθευμένα νέα AI κάθε πρωί της εβδομάδας, γραμμένα σε απλή αγγλική. Δωρεάν για πάντα, χωρίς διαφημίσεις.
Ένα email κάθε εργάσιμη ημέρα. Κατάργηση συνδρομής με ένα κλικ. Δεν πουλάμε ή μοιραζόμαστε ποτέ τη διεύθυνσή σας.
Δοκιμάστε τον εαυτό σας
Take the Glow-TTS Monotonic Alignment quiz
Άμεση ανάδραση σε κάθε απάντηση, και πιστοποιητικό με επαληθεύσιμο ID μόλις περάσετε το μάθημα.
Υποστηρίξτε τη δωρεάν εκπαίδευση AI. AI Understanding είναι μια μη κερδοσκοπική οργάνωση 501(c)(3) — χωρίς διαφημίσεις, χωρίς τοίχο πληρωμής, ποτέ. Κάντε μια δωρεά
Συχνές ερωτήσεις
What is Glow-TTS Monotonic Alignment?
Το Glow-TTS είναι ένα μοντέλο μετατροπής κειμένου σε ομιλία που μαθαίνει να ευθυγραμμίζει από μόνο του το κείμενο με την ομιλία χρησιμοποιώντας ένα έξυπνο τέχνασμα αναζήτησης, καταργώντας την ανάγκη για ξεχωριστή ευθυγράμμιση. Έχει σημασία γιατί κάνει την προπόνηση πιο απλή και τη σύνθεση γρήγορη και παράλληλη.
Ποιο πρόβλημα με το TTS που βασίζεται στην προσοχή στοχεύει να διορθώσει το Glow-TTS;
Η προσοχή μπορεί να διακοπεί σε μεγάλες εισόδους, προκαλώντας παραλείψεις ή επαναλαμβανόμενες λέξεις. Το Glow-TTS επιβάλλει μια μονοτονική ευθυγράμμιση για να αποφευχθεί αυτό.
Τι σημαίνει το MAS στο Glow-TTS;
Το MAS είναι η Μονοτονική αναζήτηση στοίχισης, η ρουτίνα δυναμικού προγραμματισμού που βρίσκει την καλύτερη στοίχιση κειμένου σε πλαίσιο.
Γιατί απαιτείται η ευθυγράμμιση να είναι μονότονη;
Η ομιλία διαβάζει το κείμενο διαδοχικά, επομένως η στοίχιση πρέπει να προχωρήσει προς τα εμπρός μέσω του κειμένου καθώς προχωρά ο χρόνος.
Τι τύπο αποκωδικοποιητή χρησιμοποιεί το Glow-TTS για τη μοντελοποίηση φασματογραμμάτων;
Το Glow-TTS χρησιμοποιεί έναν αποκωδικοποιητή που βασίζεται στη ροή, ο οποίος δίνει μια ακριβή πιθανότητα ότι το MAS μπορεί να μεγιστοποιήσει τις ευθυγραμμίσεις.
Κατά τον χρόνο συμπερασμάτων, πώς αποφασίζει το Glow-TTS πόσο χρόνο διαρκεί κάθε διακριτικό κειμένου;
Το MAS χρειάζεται μόνο στην προπόνηση. ένας προγνωστικός δείκτης μαθημένης διάρκειας παρέχει μετρήσεις πλαισίων ανά διακριτικό στο συμπέρασμα, επιτρέποντας την παράλληλη παραγωγή.
Συνέχισε να μαθαίνεις
Σχετικοί οδηγοί
Επιλέχθηκαν περισσότεροι οδηγοί για αυτό το θέμα