ΕπόμενοΕπόμενος οδηγός
Φασματογράμματα Mel
Ήχος AI
ΟΔΗΓΟΣ Audio AI
Συντελεστές Mel-Frequency Cepstral Coefstral
Οι εγκεφαλικοί συντελεστές συχνότητας Mel (MFCC) είναι ένα συμπαγές σύνολο αριθμών που συνοψίζουν το σχήμα του φάσματος συχνοτήτων ενός ήχου με τον τρόπο που το αντιλαμβάνονται τα ανθρώπινα αυτιά.
Ακούστε αυτόν τον οδηγόαφήγηση με AI · ~2 min
Σε αυτήν τη σελίδα2 λεπτά ανάγνωση
Επισκόπηση
Για δεκαετίες ήταν το χαρακτηριστικό γνώρισμα για την αναγνώριση ομιλίας, την αναγνώριση ομιλητών και τη μουσική ανάλυση.
Βαθιά κατάδυση
Τα MFCC μετατρέπουν ένα σύντομο κομμάτι ήχου σε περίπου 13 αριθμούς που αποτυπώνουν τη χροιά του. Ο αγωγός παίρνει την κυματομορφή, τη σπάει σε πλαίσια ~ 25 ms, υπολογίζει ένα φάσμα ισχύος μέσω του μετασχηματισμού Fourier και στη συνέχεια παραμορφώνει τον άξονα συχνότητας στην κλίμακα mel, η οποία διαχωρίζει τις ζώνες με τον τρόπο που κάνει ο κοχλίας: πολύ κάτω από 1 kHz και χονδρικά πάνω. Οι ενέργειες mel συμπιέζονται λογαριθμικά (μιμούμενοι την αντίληψη της έντασης) και τελικά περνούν μέσω ενός διακριτού συνημιτόνου μετασχηματισμού, ο οποίος τις αποσυσχετίζει και συγκεντρώνει τις πληροφορίες στους πρώτους συντελεστές. Το αποτέλεσμα είναι ανθεκτικό στο θόρυβο και την ένταση των ηχείων, γι' αυτό και τα κλασικά συστήματα ομιλίας Hidden Markov Model και Gaussian Mixture Model βασίζονταν σε MFCC σχεδόν καθολικά πριν από τη βαθιά εκμάθηση.
Υλοποίηση σε πραγματικό κόσμο
Ακουστικά χαρακτηριστικά για κλασικά συστήματα αναγνώρισης ομιλίας HMM-GMM, όπως πρώιμα συστήματα Sphinx και HTK
Επαλήθευση ομιλητή και diarization, διάκριση ποιος μιλάει σε μια κλήση
Ταξινόμηση ειδών μουσικής και δακτυλικό αποτύπωμα τραγουδιού (ταίριασμα ηχοχρώματος σε στυλ Shazam)
Ανίχνευση σφαλμάτων μηχανής ή κλήσεων ζώων από ήχο σε βιομηχανική και βιοακουστική παρακολούθηση
Το μέλλον των εγκεφαλικών συντελεστών Mel-Frequency
Τα βαθιά δίκτυα από άκρο σε άκρο μαθαίνουν όλο και περισσότερο χαρακτηριστικά απευθείας από ακατέργαστες κυματομορφές ή φασματογράμματα log-mel, παρακάμπτοντας το DCT, έτσι τα καθαρά MFCC εξασθενούν από το ASR τελευταίας τεχνολογίας. Ωστόσο, παραμένουν δημοφιλείς για εργασίες ελαφρού βάρους, στη συσκευή και χαμηλών δεδομένων: εντοπισμός λέξεων-κλειδιών, ανίχνευση φωνητικής δραστηριότητας, δακτυλικά αποτυπώματα ήχου και βιοακουστική. Αναμένετε τα MFCC να παραμείνουν ως μια αποτελεσματική, ερμηνεύσιμη γραμμή βάσης, ακόμη και όταν οι μαθημένες διεπαφές κυριαρχούν στα μεγάλα μοντέλα.
Κάνοντάς το στην πράξη
Γιατί έχει σημασία
- Πρόσβαση και προσέγγιση χρηστών. Βελτιώνει την προσβασιμότητα μέσω διασυνδέσεων μεταγραφής, αφήγησης και φωνής.
- Κόστος και προϋπολογισμός. Οι ομάδες πολυμέσων μπορούν να αποστέλλουν γυαλισμένο ήχο πιο γρήγορα με μικρότερους προϋπολογισμούς.
- Ταχύτητα και κλίμακα. Τα συστήματα που αντιμετωπίζουν πελάτες μπορούν να επεξεργάζονται προφορικές αλληλεπιδράσεις σε μεγαλύτερη κλίμακα.
Προσέξτε
- Οι κίνδυνοι κατάχρησης φωνής και πλαστοπροσωπίας αυξάνονται όταν λείπει η συγκατάθεση.
- Η ακρίβεια μπορεί να πέσει σε τόνους, διαλέκτους ή θορυβώδη περιβάλλοντα.
- Ο συνθετικός ήχος μπορεί να εκληφθεί εσφαλμένα ως αυθεντική ομιλία χωρίς σαφή σήμανση.
Επόμενα βήματα
- Λάβετε ρητή συγκατάθεση για λήψη φωνής, κλωνοποίηση και επαναχρησιμοποίηση.
- Δοκιμάστε την ποιότητα σε διαφορετικά ηχεία και συνθήκες φόντου.
- Καθορίστε πότε ένας άνθρωπος πρέπει να επανεξετάσει ή να εγκρίνει τα αποτελέσματα.
- Επισημάνετε τον συνθετικό ήχο και κρατήστε αρχεία προέλευσης για υπευθυνότητα.
Συνεχίστε την εξερεύνηση
Δωρεάν ενημερωτικό δελτίο
Λάβετε την καθημερινή ενημέρωση AI
Τρία επαληθευμένα νέα AI κάθε πρωί της εβδομάδας, γραμμένα σε απλή αγγλική. Δωρεάν για πάντα, χωρίς διαφημίσεις.
Ένα email κάθε εργάσιμη ημέρα. Κατάργηση συνδρομής με ένα κλικ. Δεν πουλάμε ή μοιραζόμαστε ποτέ τη διεύθυνσή σας.
Δοκιμάστε τον εαυτό σας
Take the Mel-Frequency Cepstral Coefficients quiz
Άμεση ανάδραση σε κάθε απάντηση, και πιστοποιητικό με επαληθεύσιμο ID μόλις περάσετε το μάθημα.
Υποστηρίξτε τη δωρεάν εκπαίδευση AI. AI Understanding είναι μια μη κερδοσκοπική οργάνωση 501(c)(3) — χωρίς διαφημίσεις, χωρίς τοίχο πληρωμής, ποτέ. Κάντε μια δωρεά
Συχνές ερωτήσεις
Τι είναι οι εγκεφαλικοί συντελεστές Mel-Frequency;
Οι εγκεφαλικοί συντελεστές συχνότητας Mel (MFCC) είναι ένα συμπαγές σύνολο αριθμών που συνοψίζουν το σχήμα του φάσματος συχνοτήτων ενός ήχου με τον τρόπο που το αντιλαμβάνονται τα ανθρώπινα αυτιά. Για δεκαετίες ήταν το χαρακτηριστικό γνώρισμα για την αναγνώριση ομιλίας, την αναγνώριση ομιλητών και τη μουσική ανάλυση.
Τι σημαίνει το «mel» στο MFCC;
Η κλίμακα mel παραμορφώνει τη συχνότητα έτσι ώστε ίσα βήματα να ακούγονται εξίσου μακριά από τους ανθρώπους, σε λεπτές αποστάσεις σε χαμηλές συχνότητες και χονδροειδώς στις υψηλές συχνότητες.
Ποιος μετασχηματισμός εφαρμόζεται τελευταίος για να παραχθούν οι εγκεφαλικοί συντελεστές;
Αφού υπολογιστούν οι ενέργειες log-mel, ένας διακριτός μετασχηματισμός συνημιτόνου τις αποσυσχετίζει και συσκευάζει πληροφορίες στους πρώτους συντελεστές.
Γιατί τα MFCC είναι σχετικά στιβαρά στο ύψος ενός ηχείου;
Οι χαμηλοί εγκεφαλικοί συντελεστές καταγράφουν το περίβλημα της φωνητικής οδού (φωνητικό περιεχόμενο) ενώ οι υψηλοί αποτυπώνουν τον τόνο, επομένως η διατήρηση των χαμηλών αποδυναμώνει τον τόνο.
Πόσοι περίπου συντελεστές MFCC διατηρούνται συνήθως ανά πλαίσιο;
Μια κοινή επιλογή είναι περίπου 13 συντελεστές, μερικές φορές επαυξημένοι με τα δέλτα τους, που συνοψίζουν συμπαγή τη χροιά.
Γιατί εφαρμόζεται το αρχείο καταγραφής στις ενέργειες mel-band;
Η αντίληψη της ανθρώπινης έντασης είναι περίπου λογαριθμική, επομένως η συμπίεση του ημερολογίου κάνει τα χαρακτηριστικά να ταιριάζουν καλύτερα με την αντίληψη και σταθεροποιεί το δυναμικό εύρος.
Συνέχισε να μαθαίνεις
Σχετικοί οδηγοί
Επιλέχθηκαν περισσότεροι οδηγοί για αυτό το θέμα