Jasper και QuartzNet ASR
Το Jasper και το QuartzNet είναι τα μοντέλα συνελικτικής αναγνώρισης ομιλίας από άκρο σε άκρο της NVIDIA, με το QuartzNet να είναι ένας δραματικά μικρότερος, αποτελεσματικός επανασχεδιασμός του Jasper.
Επισκόπηση
They matter for showing how to get strong accuracy with far fewer parameters, ideal for deployment.
Βαθιά κατάδυση
Το Jasper (Just Another Speech Recognizer), που κυκλοφόρησε από την NVIDIA το 2019, είναι ένα βαθύ συνελικτικό δίκτυο 1D, έως και 54 επιπέδων, που αντιστοιχίζει χαρακτηριστικά φασματογράμματος mel σε χαρακτήρες χρησιμοποιώντας απώλεια CTC. Εισήγαγε πυκνές υπολειμματικές συνδέσεις, ώστε οι κλίσεις να ρέουν καθαρά μέσα από πολύ βαθιές στοίβες. Το QuartzNet, που κυκλοφόρησε την ίδια χρονιά, διατήρησε τη δομή μπλοκ του Jasper, αλλά αντικατέστησε τις τυπικές συνελίξεις με διαχωρίσιμες συνελίξεις μέσω καναλιού χρόνου, χωρίζοντας κάθε φίλτρο σε μια κατά βάθος χρονική συνέλιξη και ένα βήμα ανάμιξης καναλιών κατά σημείο. Αυτή η παραγοντοποίηση μείωσε τις παραμέτρους από τα περίπου 333 εκατομμύρια του Jasper σε περίπου 19 εκατομμύρια, ενώ ταυτίστηκε με την ακρίβεια στο Librispeech. Και τα δύο διατίθενται στο κιτ εργαλείων NeMo της NVIDIA και είναι ρυθμισμένα για γρήγορη εκπαίδευση GPU και συμπερασματικά αποτελέσματα σε πραγματικό χρόνο, καθιστώντας τα δημοφιλή δομικά στοιχεία για την παραγωγή ASR.
Τεχνική διορατικότητα
Η αποτελεσματικότητα του QuartzNet προέρχεται από διαχωρίσιμες συνελίξεις μέσω καναλιών χρόνου, την ίδια ιδέα πίσω από το MobileNet. Μια κανονική 1D συνέλιξη αναμειγνύει χρόνο και κανάλια μαζί, κοστίζοντας K φορές C-in επί βάρος C-out. Ο διαχωρισμός του σε μια κατά βάθος συνέλιξη με την πάροδο του χρόνου συν μια 1x1 σημειακή περιέλιξη σε κανάλια μειώνει τις παραμέτρους σε K φορές C συν C-in φορές C-out. Στοιβαγμένο σε υπολειπόμενα μπλοκ και εκπαιδευμένο με CTC, αυτό δίνει ακρίβεια σχεδόν Jasper σε ένα κλάσμα του μεγέθους και του υπολογισμού του μοντέλου.
Στρατηγικός αντίκτυπος
Πρόσβαση και προσέγγιση χρηστών
Βελτιώνει την προσβασιμότητα μέσω διασυνδέσεων μεταγραφής, αφήγησης και φωνής.
Κόστος και προϋπολογισμός
Οι ομάδες πολυμέσων μπορούν να αποστέλλουν γυαλισμένο ήχο πιο γρήγορα με μικρότερους προϋπολογισμούς.
Ταχύτητα και κλίμακα
Τα συστήματα που αντιμετωπίζουν πελάτες μπορούν να επεξεργάζονται προφορικές αλληλεπιδράσεις σε μεγαλύτερη κλίμακα.
Το μέλλον του Jasper και του QuartzNet ASR
Η γενεαλογία του QuartzNet με δυνατότητα διαχωρισμού συνέλιξης οδήγησε απευθείας στο Citrinet της NVIDIA και στα ευρέως χρησιμοποιούμενα μοντέλα Conformer, τα οποία προσθέτουν την αυτοσυγκέντρωση για την αποτύπωση του παγκόσμιου πλαισίου παράλληλα με τις τοπικές συνελεύσεις. Αναμένετε συνεχή κίνηση προς υβριδικές αρχιτεκτονικές συνέλιξης και προσοχής και αποκωδικοποιητές μετατροπέα (RNN-T) για ροή. Το βασικό μάθημα, οι συνελεύσεις αποδοτικές ως προς τις παραμέτρους για ανάπτυξη αιχμής και σε πραγματικό χρόνο, παραμένει κεντρικό καθώς το ASR ωθεί σε τηλέφωνα, αυτοκίνητα και ενσωματωμένες συσκευές.
Υλοποίηση σε πραγματικό κόσμο
Βοηθοί μεταγραφής και φωνής σε πραγματικό χρόνο που αναπτύσσονται σε GPU NVIDIA μέσω του κιτ εργαλείων NeMo
Edge και ενσωματωμένο ASR όπου το μικρό αποτύπωμα του QuartzNet ταιριάζει σε συσκευές με περιορισμένη μνήμη
Βελτιστοποίηση προεκπαιδευμένων σημείων ελέγχου QuartzNet για λεξιλόγια συγκεκριμένου τομέα, όπως ιατρικούς ή νομικούς όρους
Αναλυτικά στοιχεία τηλεφωνικού κέντρου που μεταγράφει μεγάλους όγκους ήχου γρήγορα και οικονομικά
Κίνδυνοι & προστατευτικά κιγκλιδώματα
Οι κίνδυνοι κατάχρησης φωνής και πλαστοπροσωπίας αυξάνονται όταν λείπει η συγκατάθεση.
Η ακρίβεια μπορεί να πέσει σε τόνους, διαλέκτους ή θορυβώδη περιβάλλοντα.
Ο συνθετικός ήχος μπορεί να εκληφθεί εσφαλμένα ως αυθεντική ομιλία χωρίς σαφή σήμανση.
Οδικός Χάρτης Εφαρμογής
Λάβετε ρητή συγκατάθεση για λήψη φωνής, κλωνοποίηση και επαναχρησιμοποίηση.
Δοκιμάστε την ποιότητα σε διαφορετικά ηχεία και συνθήκες φόντου.
Καθορίστε πότε ένας άνθρωπος πρέπει να επανεξετάσει ή να εγκρίνει τα αποτελέσματα.
Επισημάνετε τον συνθετικό ήχο και κρατήστε αρχεία προέλευσης για υπευθυνότητα.
Συνεχίστε την εξερεύνηση
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Jasper and QuartzNet ASR quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Επόμενος οδηγός
Wav2Letter Συνελικτικό ASR
Συχνές ερωτήσεις
What is Jasper and QuartzNet ASR?
Το Jasper και το QuartzNet είναι τα μοντέλα συνελικτικής αναγνώρισης ομιλίας από άκρο σε άκρο της NVIDIA, με το QuartzNet να είναι ένας δραματικά μικρότερος, αποτελεσματικός επανασχεδιασμός του Jasper. Έχουν σημασία για να δείχνουν πώς να αποκτήσετε ισχυρή ακρίβεια με πολύ λιγότερες παραμέτρους, ιδανικές για ανάπτυξη.
Ποια βασική καινοτομία επιτρέπει στο QuartzNet να χρησιμοποιεί πολύ λιγότερες παραμέτρους από τον Jasper;
Το QuartzNet αντικαθιστά τις τυπικές περιελίξεις με διαχωρίσιμες περιελίξεις μέσω καναλιού χρόνου, μειώνοντας δραστικά τον αριθμό των παραμέτρων διατηρώντας παράλληλα την ακρίβεια.
Πόσες περίπου παραμέτρους έχει το QuartzNet σε σύγκριση με τα ~333 εκατομμύρια του Jasper;
Το QuartzNet συρρικνώνεται σε περίπου 19 εκατομμύρια παραμέτρους, περίπου μια μείωση 17 φορές, ενώ ταιριάζει με την ακρίβεια Librispeech του Jasper.
Ποια εταιρεία ανέπτυξε τόσο το Jasper όσο και το QuartzNet;
Και τα δύο μοντέλα αναπτύχθηκαν από την NVIDIA και διανέμονται μέσω του κιτ εργαλείων συνομιλίας AI NeMo.
Ποια συνάρτηση απώλειας χρησιμοποιούν οι Jasper και QuartzNet για προπόνηση χωρίς σαφείς ευθυγραμμίσεις;
Και οι δύο χρησιμοποιούν απώλεια CTC, η οποία ευθυγραμμίζει τον ήχο μεταβλητού μήκους με ακολουθίες χαρακτήρων χωρίς να απαιτούνται ετικέτες ανά καρέ.
Ποιο δομικό χαρακτηριστικό βοηθά τις διαβαθμίσεις να ρέουν μέσα από το πολύ βαθύ δίκτυο (έως 54 επιπέδων) του Jasper;
Ο Jasper χρησιμοποιεί πυκνές υπολειμματικές (skip) συνδέσεις, ώστε οι κλίσεις να διαδίδονται καθαρά μέσω της βαθιάς συνελικτικής στοίβας του.