CREPE Εκτίμηση Pitch
Το CREPE είναι ένα μοντέλο βαθειάς μάθησης που εκτιμά τη θεμελιώδη συχνότητα (βήμα) ενός μονοφωνικού ηχητικού σήματος απευθείας από την ακατέργαστη κυματομορφή του.
Επισκόπηση
It set a new accuracy standard for pitch tracking, especially on noisy or difficult recordings.
Βαθιά κατάδυση
Το CREPE (Συνελικτική Αναπαράσταση για Εκτίμηση Βήματος), που εισήχθη το 2018 από τους Kim, Salamon, Li και Bello, προβλέπει τον τόνο του ήχου μιας νότας (μονοφωνικής), όπως μια τραγουδισμένη φωνή ή σόλο όργανο. Σε αντίθεση με τους κλασικούς αλγόριθμους όπως ο YIN ή ο pYIN που βασίζονται στην αυτοσυσχέτιση του σήματος, το CREPE είναι ένα βαθύ συνελικτικό νευρωνικό δίκτυο που εκπαιδεύεται απευθείας σε πλαίσια ήχου πεδίου χρόνου. Πλαισιώνει την εκτίμηση του βήματος ως πρόβλημα ταξινόμησης: εξάγει μια κατανομή πιθανότητας σε 360 pitch bins που εκτείνονται σε περίπου έξι οκτάβες, με διαφορά 20 cents το καθένα. Ο κάδος με την υψηλότερη ενεργοποίηση, βελτιωμένος με τοπικό σταθμισμένο μέσο όρο, δίνει την εκτιμώμενη συχνότητα συν μια βαθμολογία εμπιστοσύνης. Το CREPE αποδείχθηκε πολύ πιο στιβαρό από τις μεθόδους επεξεργασίας σήματος, ιδιαίτερα υπό θόρυβο, και είναι πλέον ένα τυπικό συστατικό σε πολλούς αγωγούς ανάλυσης μουσικής και ομιλίας.
Τεχνική διορατικότητα
Το CREPE παίρνει ένα πλαίσιο ήχου 1024 δειγμάτων και το περνά μέσα από έξι στοιβαγμένα συνελικτικά στρώματα, καταλήγοντας σε ένα στρώμα εξόδου 360 μονάδων με σιγμοειδείς ενεργοποιήσεις. Κάθε μονάδα αντιστοιχεί σε ένα pitch bin σε απόσταση 20 cents μεταξύ τους σε περίπου έξι οκτάβες. Το δίκτυο εκπαιδεύεται με δυαδική διασταυρούμενη εντροπία έναντι ενός στόχου με θολή Gauss, που επικεντρώνεται στο πραγματικό βήμα. Συμπερασματικά, η προβλεπόμενη συχνότητα είναι ο τοπικός σταθμισμένος μέσος όρος των ενεργοποιήσεων γύρω από τον κάδο αιχμής και το ύψος κορυφής χρησιμεύει ως τιμή εμπιστοσύνης.
Στρατηγικός αντίκτυπος
Πρόσβαση και προσέγγιση χρηστών
Βελτιώνει την προσβασιμότητα μέσω διασυνδέσεων μεταγραφής, αφήγησης και φωνής.
Κόστος και προϋπολογισμός
Οι ομάδες πολυμέσων μπορούν να αποστέλλουν γυαλισμένο ήχο πιο γρήγορα με μικρότερους προϋπολογισμούς.
Ταχύτητα και κλίμακα
Τα συστήματα που αντιμετωπίζουν πελάτες μπορούν να επεξεργάζονται προφορικές αλληλεπιδράσεις σε μεγαλύτερη κλίμακα.
The Future of CREPE Pitch Estimation
Η εκτίμηση του τόνου κινείται προς κοινά μοντέλα που χειρίζονται πολυφωνία (πολλαπλές ταυτόχρονες νότες), χαμηλότερη καθυστέρηση για συντονισμό σε πραγματικό χρόνο και αυτόματη αρμονία και μικρότερα αποσταγμένα δίκτυα που εκτελούνται σε τηλέφωνα και ενσωματωμένες συσκευές. Οι έξοδοι εμπιστοσύνης του CREPE τροφοδοτούνται όλο και περισσότερο σε εργασίες κατάντη όπως η αυτόματη μεταγραφή, η φωνητική διόρθωση και η εκφραστική ανάλυση απόδοσης. Οι αυτοεποπτευόμενες προσεγγίσεις και οι προσεγγίσεις πολλαπλών εργασιών που μαθαίνουν τον τόνο παράλληλα με τη χροιά και την άρθρωση είναι πιθανό να επεκτείνουν την ακρίβεια τύπου CREPE πέρα από τον καθαρό μονοφωνικό ήχο.
Υλοποίηση σε πραγματικό κόσμο
Παρακολούθηση του τόνου ενός τραγουδιστή για σχόλια συντονισμού σε πραγματικό χρόνο σε εφαρμογές φωνητικής εκπαίδευσης
Οδηγώντας εργαλεία αυτόματου συντονισμού και διόρθωσης τόνου με ακριβείς καμπύλες θεμελιωδών συχνοτήτων
Μεταγραφή μελωδιών σόλο οργάνων σε MIDI ή παρτιτούρες
Αναλύοντας τον τονισμό και το vibrato στη μουσική εκπαίδευση και την έρευνα παραστάσεων
Κίνδυνοι & προστατευτικά κιγκλιδώματα
Οι κίνδυνοι κατάχρησης φωνής και πλαστοπροσωπίας αυξάνονται όταν λείπει η συγκατάθεση.
Η ακρίβεια μπορεί να πέσει σε τόνους, διαλέκτους ή θορυβώδη περιβάλλοντα.
Ο συνθετικός ήχος μπορεί να εκληφθεί εσφαλμένα ως αυθεντική ομιλία χωρίς σαφή σήμανση.
Οδικός Χάρτης Εφαρμογής
Λάβετε ρητή συγκατάθεση για λήψη φωνής, κλωνοποίηση και επαναχρησιμοποίηση.
Δοκιμάστε την ποιότητα σε διαφορετικά ηχεία και συνθήκες φόντου.
Καθορίστε πότε ένας άνθρωπος πρέπει να επανεξετάσει ή να εγκρίνει τα αποτελέσματα.
Επισημάνετε τον συνθετικό ήχο και κρατήστε αρχεία προέλευσης για υπευθυνότητα.
Συνεχίστε την εξερεύνηση
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the CREPE Pitch Estimation quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Επόμενος οδηγός
FastPitch Pitch-Controllable TTS
Συχνές ερωτήσεις
What is CREPE Pitch Estimation?
Το CREPE είναι ένα μοντέλο βαθειάς μάθησης που εκτιμά τη θεμελιώδη συχνότητα (βήμα) ενός μονοφωνικού ηχητικού σήματος απευθείας από την ακατέργαστη κυματομορφή του. Έθεσε ένα νέο πρότυπο ακρίβειας για την παρακολούθηση του τόνου, ειδικά σε θορυβώδεις ή δύσκολες εγγραφές.
Τι υπολογίζει το CREPE από ένα ηχητικό σήμα;
Το CREPE προβλέπει τη θεμελιώδη συχνότητα, δηλαδή το αντιληπτό ύψος, του μονοφωνικού ήχου.
Το CREPE έχει σχεδιαστεί κυρίως για ποιο είδος ήχου;
Το CREPE υπολογίζει τον τόνο για μονοφωνικά σήματα, όπως μια φωνή ή σόλο όργανο.
Πώς πλαισιώνει το CREPE εσωτερικά την εργασία εκτίμησης τόνου;
Το CREPE εξάγει μια κατανομή πιθανότητας σε 360 pitch bins, αντιμετωπίζοντας την εκτίμηση ως ταξινόμηση.
Τι λαμβάνει το CREPE ως άμεση εισαγωγή;
Σε αντίθεση με τις μεθόδους που βασίζονται σε φασματογράμματα, το CREPE λειτουργεί σε ακατέργαστα πλαίσια κυματομορφής μέσω συνελικτικών στρωμάτων.
Πόσο περίπου απέχουν μεταξύ τους οι κάδοι του CREPE;
Το CREPE χρησιμοποιεί 360 κάδους σε απόσταση 20 cents μεταξύ τους, δίνοντας ανάλυση υποημιτονίου σε περίπου έξι οκτάβες.