Εξαγωγή δυνατοτήτων ήχου με Librosa

Το Librosa είναι ένα πακέτο Python για ανάλυση μουσικής και ήχου. Παρέχει εργαλεία για τη φόρτωση ήχου, την οπτικοποίηση κυματομορφών και φασματογραμμάτων και τον υπολογισμό χαρακτηριστικών που χρησιμοποιούνται στην ανάλυση ή τη μηχανική μάθηση. Οι συνήθεις επιλογές περιλαμβάνουν μεγέθη μετασχηματισμού Fourier βραχείας διάρκειας, φασματογράμματα mel, εγκεφαλικούς συντελεστές συχνότητας mel, χαρακτηριστικά χρώματος, φασματικό κέντρο και ισχύ έναρξης. Κάθε χαρακτηριστικό συνοψίζει διαφορετικές πτυχές του σήματος αντί να παρέχει μια καθολική περιγραφή. Τα MFCC συμπιέζουν το φασματικό περίβλημα σε συντελεστές χρησιμοποιώντας μια συστοιχία φίλτρου συχνότητας τήξης και έναν μετασχηματισμό συνημιτόνου. Χρησιμοποιούνται ευρέως σε εργασίες ομιλίας και ήχου, αλλά ενδέχεται να απορρίψουν λεπτομέρειες χρήσιμες για άλλες εφαρμογές. Το Chroma διαθέτει αναδιπλούμενη φασματική ενέργεια σε κατηγορίες βήματος, συχνά δώδεκα ημιτονικές κατηγορίες, οι οποίες μπορούν να υποστηρίξουν την ανάλυση που σχετίζεται με την αρμονία. Η ισχύς έναρξης συνοψίζει τις αλλαγές που σχετίζονται με πιθανές μουσικές ή ακουστικές επιθέσεις. δεν είναι εγγυημένος ανιχνευτής συμβάντων. Η εξαγωγή χαρακτηριστικών εξαρτάται από τις επιλογές πλαισίωσης. Ο ρυθμός δειγματοληψίας καθορίζει τον τρόπο με τον οποίο τα δείγματα αντιστοιχίζονται σε χρόνο και συχνότητα. Το μήκος παραθύρου ελέγχει το εύρος τοπικής ανάλυσης. Το μήκος hop καθορίζει την απόσταση μεταξύ των καρέ και επηρεάζει τη χρονική ανάλυση. Το κεντράρισμα και η συμπλήρωση επηρεάζουν τις χρονικές σημάνσεις πλαισίου κοντά στα όρια. Εάν γίνει εκ νέου δειγματοληψία ήχου, η ίδια η κυματομορφή πρέπει να μετασχηματιστεί. Η φόρτωση ως μονοφωνική, η επιλογή ενός στόχου ρυθμού δειγματοληψίας ή η διατήρηση στερεοφωνικών καναλιών αλλάζει τα δεδομένα που είναι διαθέσιμα στις λειτουργίες. Για τη μηχανική μάθηση, η προεπεξεργασία θα πρέπει να είναι συνεπής μεταξύ εκπαίδευσης και συμπερασμάτων. Προσαρμογή στατιστικών κανονικοποίησης μόνο στα δεδομένα προπόνησης. Διαχωρίστε τις εγγραφές πηγής, τα ηχεία ή τις περιόδους λειτουργίας πριν δημιουργήσετε επικαλυπτόμενα παράθυρα, έτσι ώστε τα σχεδόν διπλά καρέ να μην διαρρεύσουν στην επικύρωση. Εάν ένα μοντέλο καταναλώνει ακολουθίες, διαστάσεις πλαισίων εγγράφων και σειρά χαρακτηριστικών. Αξιολογήστε τα χαρακτηριστικά στην εργασία στόχο αντί να υποθέσετε ότι τα συμβατικά χαρακτηριστικά βελτιώνουν πάντα την απόδοση. Οι προεπιλογές και τα API της Librosa μπορούν να εξελιχθούν, επομένως καρφιτσώστε εκδόσεις για αναπαραγώγιμες αγωγούς. Δοκιμάστε την αποκωδικοποίηση αρχείων, τη συμπεριφορά του καναλιού, τον χειρισμό της διάρκειας και τα αριθμητικά εύρη σε αντιπροσωπευτικό ήχο. Τα διαγράμματα χαρακτηριστικών υποστηρίζουν την ερμηνεία, αλλά ένα οπτικά καθαρό φασματογράφημα δεν αποδεικνύει ότι το μοντέλο θα γενικευτεί.