Διαχωρισμός πηγών μουσικής Demucs και HT-Demucs
Το Demucs είναι το μοντέλο διαχωρισμού πηγών μουσικής ανοιχτού κώδικα του Meta. Το Hybrid Transformer Demucs (HT-Demucs) χωρίζει τα τραγούδια σε φωνητικά, ντραμς, μπάσα και άλλα στελέχη χρησιμοποιώντας την επεξεργασία κυματομορφής και φασματογράμματος.
Βαθιά κατάδυση
Το Demucs (Deep Extractor for Music Sources) αντιμετωπίζει το κλασικό πρόβλημα "un-mixing": την ανάκτηση μεμονωμένων κομματιών οργάνων από μια τελική στερεοφωνική ηχογράφηση. Οι πρώτες εκδόσεις χρησιμοποιούσαν έναν τομέα κυματομορφής U-Net που δούλευε απευθείας σε ακατέργαστα δείγματα ήχου, το οποίο διατήρησε πληροφορίες φάσης που συχνά χάνουν οι μέθοδοι φασματογράμματος. Το ευρέως χρησιμοποιούμενο Hybrid Demucs και αργότερα το Hybrid Transformer Demucs (HT-Demucs) επεξεργάζονται τον ήχο τόσο στον τομέα κυματομορφής όσο και στον τομέα του φασματογράμματος ταυτόχρονα, στη συνέχεια τα συγχωνεύουν και προσθέτουν την προσοχή του μετασχηματιστή μεταξύ τομέων στη δομή του μοντέλου μεγάλης εμβέλειας. Εκπαιδευμένο στο σύνολο δεδομένων MUSDB18 και επιπλέον δεδομένα, το Demucs διαχωρίζει μια μίξη σε τέσσερα στελέχη (φωνητικά, ντραμς, μπάσο, άλλα) και έχει γίνει προεπιλεγμένο εργαλείο επειδή είναι ανοιχτού κώδικα, εκτελείται σε GPU καταναλωτών και βαθμολογείται με συνέπεια κοντά στην κορυφή σε κριτήρια διαχωρισμού.
Τεχνική διορατικότητα
Το Hybrid Demucs εκτελεί δύο παράλληλους κλάδους κωδικοποιητή-αποκωδικοποιητή: έναν στην κυματομορφή του τομέα χρόνου και έναν στο φασματόγραμμα STFT. Τα χαρακτηριστικά ανταλλάσσονται μεταξύ διακλαδώσεων και συνδυάζονται, έτσι το μοντέλο εκμεταλλεύεται την ακριβή φάση της κυματομορφής και τη σαφή δομή συχνότητας του φασματογράμματος. Η ποιότητα μετριέται με αναλογία σήματος προς παραμόρφωση (SDR) σε ντεσιμπέλ σε κομμένα τραγούδια. Η παραλλαγή του μετασχηματιστή προσθέτει αυτοπροσοχή και διασταυρούμενη προσοχή για να καταγράψει το μουσικό πλαίσιο σε δευτερόλεπτα.
Στρατηγικός αντίκτυπος
Πρόσβαση και προσέγγιση χρηστών
Βελτιώνει την προσβασιμότητα μέσω διασυνδέσεων μεταγραφής, αφήγησης και φωνής.
Κόστος και προϋπολογισμός
Οι ομάδες πολυμέσων μπορούν να αποστέλλουν γυαλισμένο ήχο πιο γρήγορα με μικρότερους προϋπολογισμούς.
Ταχύτητα και κλίμακα
Τα συστήματα που αντιμετωπίζουν πελάτες μπορούν να επεξεργάζονται προφορικές αλληλεπιδράσεις σε μεγαλύτερη κλίμακα.
The Future of Demucs και HT-Demucs Διαχωρισμός πηγής μουσικής
Ο διαχωρισμός πηγών κινείται προς περισσότερα στελέχη (διαχωρίζοντας μεμονωμένες κιθάρες, πιάνα ή ακόμα και συγκεκριμένους τραγουδιστές), λειτουργία σε πραγματικό χρόνο και στη συσκευή και διαχωρισμό μέσω κειμένου ("απομονώστε το σαξόφωνο"). Τα καλύτερα μοντέλα θα μειώσουν τα υδαρή τεχνουργήματα που εξακολουθούν να εμφανίζονται σε πυκνά μείγματα. Καθώς η ποιότητα ανεβαίνει, περιμένετε βαθύτερη ενσωμάτωση σε DAW, εφαρμογές καραόκε και remix και εργαλεία μουσικής εκπαίδευσης, παράλληλα με τη συνεχιζόμενη συζήτηση σχετικά με τα πνευματικά δικαιώματα και τις συνέπειες της συναίνεσης της καθαρής εξαγωγής των απομονωμένων φωνητικών οποιουδήποτε καλλιτέχνη.
Υλοποίηση σε πραγματικό κόσμο
Παραγωγοί και ρεμίξερ που εξάγουν καθαρές ακαπέλες ή ορχηστρικά από κομμάτια που έχουν κυκλοφορήσει
Εφαρμογές καραόκε που αφαιρούν τα κύρια φωνητικά εν κινήσει για τη δημιουργία κομματιών υποστήριξης
Μουσικοί που απομονώνουν ένα αυλάκι μπάσου ή ντραμς για να μεταγράψουν ή να εξασκηθούν μαζί τους
Ροές εργασιών αποκατάστασης ήχου και δειγματοληψίας που πρέπει να αφαιρέσουν ένα όργανο από μια παλιά μίξη
Κίνδυνοι & προστατευτικά κιγκλιδώματα
Οι κίνδυνοι κατάχρησης φωνής και πλαστοπροσωπίας αυξάνονται όταν λείπει η συγκατάθεση.
Η ακρίβεια μπορεί να πέσει σε τόνους, διαλέκτους ή θορυβώδη περιβάλλοντα.
Ο συνθετικός ήχος μπορεί να εκληφθεί εσφαλμένα ως αυθεντική ομιλία χωρίς σαφή σήμανση.
Οδικός Χάρτης Εφαρμογής
Λάβετε ρητή συγκατάθεση για λήψη φωνής, κλωνοποίηση και επαναχρησιμοποίηση.
Δοκιμάστε την ποιότητα σε διαφορετικά ηχεία και συνθήκες φόντου.
Καθορίστε πότε ένας άνθρωπος πρέπει να επανεξετάσει ή να εγκρίνει τα αποτελέσματα.
Επισημάνετε τον συνθετικό ήχο και κρατήστε αρχεία προέλευσης για υπευθυνότητα.
Συνεχίστε την εξερεύνηση
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Demucs and HT-Demucs Music Source Separation quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Επόμενος οδηγός
Διαχωρισμός μουσικής Open-Unmix
Συχνές ερωτήσεις
Τι είναι ο διαχωρισμός πηγών μουσικής Demucs και HT-Demucs;
Το Demucs είναι το μοντέλο διαχωρισμού πηγών μουσικής ανοιχτού κώδικα του Meta. Το Hybrid Transformer Demucs (HT-Demucs) χωρίζει τα τραγούδια σε φωνητικά, ντραμς, μπάσα και άλλα στελέχη χρησιμοποιώντας την επεξεργασία κυματομορφής και φασματογράμματος.
Τι κάνουν οι Demucs σε ένα ολοκληρωμένο τραγούδι;
Οι Demucs εκτελούν διαχωρισμό της μουσικής πηγής, χωρίζοντας μια στερεοφωνική μίξη σε μεμονωμένα όργανα και φωνητικά στελέχη.
Τι κάνει το Hybrid Demucs «υβριδικό»;
Το Hybrid Demucs συνδυάζει έναν κλάδο κυματομορφής σε τομέα χρόνου και έναν κλάδο φασματογράμματος, συνδυάζοντας τις δυνάμεις τους.
Ποια μέτρηση χρησιμοποιείται συνήθως για την αξιολόγηση της ποιότητας διαχωρισμού;
Το SDR, μετρημένο σε ντεσιμπέλ, ποσοτικοποιεί πόσο καθαρά το εκτιμώμενο στέλεχος ταιριάζει με την πραγματική πηγή.
Ποιος οργανισμός κυκλοφόρησε αρχικά το Demucs;
Το Demucs αναπτύχθηκε και δημιουργήθηκε ανοιχτού κώδικα από ερευνητές στο Meta AI / FAIR.
Γιατί τα πρώτα Demucs δούλευαν απευθείας στην ακατέργαστη κυματομορφή;
Η λειτουργία στην περιοχή κυματομορφής διατηρεί τη φάση, την οποία οι μέθοδοι μεγέθους φασματογράμματος συχνά απορρίπτουν και πρέπει να εκτιμήσουν.