Διαχωρισμός στελέχους Spleeter
Το Spleeter είναι ένα εργαλείο ανοιχτού κώδικα από την Deezer που χωρίζει ένα ολοκληρωμένο τραγούδι σε ξεχωριστά κομμάτια (φωνητικά, ντραμς, μπάσο και άλλα) χρησιμοποιώντας βαθιά εκμάθηση.
Επισκόπηση
It made high-quality stem separation fast, free, and accessible to anyone with a laptop.
Βαθιά κατάδυση
Το Spleeter, που κυκλοφόρησε από την εταιρεία ροής μουσικής Deezer το 2019, χωρίζει μια μικτή ηχογράφηση σε μεμονωμένα στελέχη οργάνων. Αποστέλλεται σε τρεις προ-εκπαιδευμένες διαμορφώσεις: 2-stem (φωνητικά συν συνοδεία), 4-stem (φωνητικά, ντραμς, μπάσο, άλλα) και 5-stem (που προσθέτει πιάνο). Κάτω από την κουκούλα χρησιμοποιεί συνελικτικά νευρωνικά δίκτυα U-Net που λειτουργούν στο φασματόγραμμα του ήχου, προβλέποντας μια μαλακή μάσκα για κάθε πηγή. Ο πολλαπλασιασμός της μάσκας με το αρχικό φασματογράφημα και η αναστροφή στον ήχο αποδίδει κάθε στέλεχος. Αυτό που έκανε το Spleeter διάσημο ήταν η ταχύτητα: μπορεί να διαχωρίσει τον ήχο περίπου 100 φορές πιο γρήγορα από τον πραγματικό χρόνο σε μια GPU. Χρησιμοποιείται ευρέως από DJ, remixers, μεταγραφείς και κατασκευαστές καραόκε, και πυροδότησε ένα κύμα ανταγωνιστικών διαχωριστών όπως οι Demucs.
Τεχνική διορατικότητα
Το Spleeter λειτουργεί στον τομέα χρόνου-συχνότητας. Ο ήχος μετατρέπεται σε φασματογράφημα μεγέθους μέσω του μετασχηματισμού Fourier βραχείας διάρκειας (STFT). Ένα U-Net (κωδικοποιητής-αποκωδικοποιητής με συνδέσεις παράβλεψης) μαθαίνει, ανά πηγή, μια μάσκα μεταξύ 0 και 1 για κάθε κάδο χρόνου-συχνότητας. Το καλυμμένο φασματογράφημα ανασυνδυάζεται με τη φάση του αρχικού μείγματος και στη συνέχεια ένα αντίστροφο STFT αναδομεί την κυματομορφή. Επειδή εκτιμά τις μαλακές μάσκες και όχι τον ακατέργαστο ήχο, η διαρροή και η επαναχρησιμοποιημένη φάση προκαλούν τεχνουργήματα.
Στρατηγικός αντίκτυπος
Πρόσβαση και προσέγγιση χρηστών
Βελτιώνει την προσβασιμότητα μέσω διασυνδέσεων μεταγραφής, αφήγησης και φωνής.
Κόστος και προϋπολογισμός
Οι ομάδες πολυμέσων μπορούν να αποστέλλουν γυαλισμένο ήχο πιο γρήγορα με μικρότερους προϋπολογισμούς.
Ταχύτητα και κλίμακα
Τα συστήματα που αντιμετωπίζουν πελάτες μπορούν να επεξεργάζονται προφορικές αλληλεπιδράσεις σε μεγαλύτερη κλίμακα.
The Future of Spleeter Stepar Separation
Τα νεότερα μοντέλα τομέα κυματομορφής, όπως το Demucs και οι διαχωριστές υβριδικών μετασχηματιστών, ξεπερνούν πλέον το Spleeter σε ποιότητα, ανακτώντας πιο καθαρά μεταβατικά και λιγότερα τεχνουργήματα. Η τάση είναι προς υψηλότερους αριθμούς stem (διαχωρισμός μεμονωμένων κιθάρων ή φωνητικών υποστήριξης), διαχωρισμός σε πραγματικό χρόνο στη συσκευή σε DAW και τηλέφωνα και ενσωμάτωση σε εφαρμογές ροής για άμεση αναμίξη ή προσβασιμότητα. Το ίδιο το Spleeter παραμένει μια δημοφιλής γραμμή βάσης επειδή είναι ελαφρύ, δωρεάν και εύκολο στη λειτουργία του, ακόμη και όταν η έρευνα προωθεί προσεγγίσεις με επίγνωση φάσης και παραγωγικές προσεγγίσεις.
Υλοποίηση σε πραγματικό κόσμο
Δημιουργία στιγμιαίων κομματιών καραόκε αφαιρώντας το βασικό φωνητικό από ένα εμπορικό τραγούδι
DJs και παραγωγοί που απομονώνουν ένα drum ή bass stem για να δημιουργήσουν remixes και mashup
Σπουδαστές μουσικής εξάγουν μια ενιαία γραμμή οργάνων για να μεταγράψουν και να εξασκηθούν μαζί
Αποκατάσταση ή καθαρισμός παλαιών εγγραφών με διαχωρισμό και εξισορρόπηση λασπωμένων μειγμάτων
Κίνδυνοι & προστατευτικά κιγκλιδώματα
Οι κίνδυνοι κατάχρησης φωνής και πλαστοπροσωπίας αυξάνονται όταν λείπει η συγκατάθεση.
Η ακρίβεια μπορεί να πέσει σε τόνους, διαλέκτους ή θορυβώδη περιβάλλοντα.
Ο συνθετικός ήχος μπορεί να εκληφθεί εσφαλμένα ως αυθεντική ομιλία χωρίς σαφή σήμανση.
Οδικός Χάρτης Εφαρμογής
Λάβετε ρητή συγκατάθεση για λήψη φωνής, κλωνοποίηση και επαναχρησιμοποίηση.
Δοκιμάστε την ποιότητα σε διαφορετικά ηχεία και συνθήκες φόντου.
Καθορίστε πότε ένας άνθρωπος πρέπει να επανεξετάσει ή να εγκρίνει τα αποτελέσματα.
Επισημάνετε τον συνθετικό ήχο και κρατήστε αρχεία προέλευσης για υπευθυνότητα.
Συνεχίστε την εξερεύνηση
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Spleeter Stem Separation quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Επόμενος οδηγός
Conv-TasNet Time-Domain Separation
Συχνές ερωτήσεις
What is Spleeter Stem Separation?
Το Spleeter είναι ένα εργαλείο ανοιχτού κώδικα από την Deezer που χωρίζει ένα ολοκληρωμένο τραγούδι σε ξεχωριστά κομμάτια (φωνητικά, ντραμς, μπάσο και άλλα) χρησιμοποιώντας βαθιά εκμάθηση. Έκανε τον υψηλής ποιότητας διαχωρισμό στελέχους γρήγορο, δωρεάν και προσβάσιμο σε οποιονδήποτε διαθέτει φορητό υπολογιστή.
Ποια εταιρεία κυκλοφόρησε αρχικά το Spleeter;
Το Spleeter κυκλοφόρησε ως ανοιχτού κώδικα το 2019 από την Deezer, τη γαλλική εταιρεία ροής μουσικής.
Σε τι χωρίζει τον ήχο το μοντέλο 4 στελεχών του Spleeter;
Η διαμόρφωση με 4 στελέχη βγάζει φωνητικά, ντραμς, μπάσο και ένα «άλλο» στέλεχος για οτιδήποτε άλλο.
Ποια αρχιτεκτονική νευρωνικών δικτύων χρησιμοποιεί το Spleeter;
Το Spleeter χρησιμοποιεί συνελικτικά δίκτυα U-Net που προβλέπουν μάσκες στο φασματόγραμμα του ήχου.
Πώς πραγματικά το Spleeter εξάγει μία μόνο πηγή από το μείγμα;
Το δίκτυο προβλέπει μια μάσκα ανά πηγή (τιμές 0 έως 1) που πολλαπλασιάζεται με το φασματογράφημα μείγματος.
Ποιο είναι ένα βασικό πρακτικό πλεονέκτημα που έκανε το Spleeter δημοφιλές;
Το Spleeter μπορεί να διαχωρίσει τον ήχο περίπου 100 φορές πιο γρήγορα από τον πραγματικό χρόνο σε μια GPU, καθιστώντας τον γρήγορο και προσβάσιμο.