Separacja łodyg Spleetera
Spleeter to narzędzie typu open source firmy Deezer, które dzieli gotowy utwór na osobne ścieżki (wokal, perkusja, bas i inne) przy użyciu głębokiego uczenia.
Przegląd
It made high-quality stem separation fast, free, and accessible to anyone with a laptop.
Głębokie nurkowanie
Spleeter, wydany przez firmę Deezer zajmującą się streamingiem muzyki w 2019 roku, dzieli zmiksowane nagranie na poszczególne ścieżki instrumentów. Jest dostarczany w trzech wstępnie wytrenowanych konfiguracjach: 2-stopniowy (wokal plus akompaniament), 4-stopniowy (wokal, perkusja, bas i inne) i 5-stopniowy (z dodatkiem fortepianu). Pod maską wykorzystuje splotowe sieci neuronowe U-Net, które działają na spektrogramie audio, przewidując miękką maskę dla każdego źródła. Mnożenie maski przez oryginalny spektrogram i odwrócenie z powrotem do audio daje każdy rdzeń. Tym, co rozsławiło Spleetera, była szybkość: może oddzielać dźwięk około 100 razy szybciej niż w czasie rzeczywistym na GPU. Jest powszechnie używany przez DJ-ów, remikserów, osoby transkrybujące i twórców karaoke i wywołał falę konkurencyjnych separatorów, takich jak Demucs.
Wgląd techniczny
Spleeter działa w dziedzinie czasu i częstotliwości. Dźwięk jest konwertowany na spektrogram wielkości za pomocą krótkoczasowej transformaty Fouriera (STFT). Sieć U-Net (koder-dekoder z pomijanymi połączeniami) uczy się, dla każdego źródła, maski od 0 do 1 dla każdego przedziału czasowo-częstotliwościowego. Zamaskowany spektrogram jest ponownie łączony z fazą pierwotnej mieszaniny, a następnie odwrotna STFT rekonstruuje kształt fali. Ponieważ szacuje miękkie maski, a nie surowy dźwięk, wycieki i ponowne wykorzystanie fazy powodują artefakty.
Wpływ strategiczny
Dostęp i zasięg
Poprawia dostępność poprzez transkrypcję, narrację i interfejsy głosowe.
Koszt i budżet
Zespoły medialne mogą szybciej dostarczać dopracowany dźwięk przy mniejszych budżetach.
Szybkość i skala
Systemy skierowane do klienta mogą przetwarzać interakcje mówione na większą skalę.
Przyszłość separacji pnia Spleetera
Nowsze modele w domenie przebiegów, takie jak Demucs i hybrydowe separatory transformatorowe, pokonują teraz Spleeter pod względem jakości, odzyskując wyraźniejsze stany przejściowe i mniej artefaktów. Trend polega na większej liczbie pni (oddzielanie poszczególnych gitar lub chórków), separacji w czasie rzeczywistym na urządzeniu w programach DAW i telefonach oraz integracji z aplikacjami do przesyłania strumieniowego w celu natychmiastowego remiksowania lub dostępności. Sam program Spleeter pozostaje popularnym rozwiązaniem bazowym, ponieważ jest lekki, bezpłatny i łatwy w obsłudze, mimo że badania promują podejście uwzględniające fazy i generatywne.
Implementacja w świecie rzeczywistym
Tworzenie natychmiastowych utworów karaoke poprzez usunięcie głównego wokalu z komercyjnej piosenki
DJ-e i producenci izolują bęben perkusyjny lub basowy w celu tworzenia remiksów i mashupów
Studenci muzyki wyodrębniają pojedynczą linię instrumentu do transkrypcji i ćwiczeń
Przywracanie lub czyszczenie starych nagrań poprzez oddzielanie i ponowne równoważenie zabłoconych miksów
Zagrożenia i poręcze
W przypadku braku zgody zwiększa się ryzyko niewłaściwego użycia głosu i podszywania się pod inne osoby.
Dokładność może spaść w przypadku akcentów, dialektów lub hałaśliwego otoczenia.
Bez wyraźnego oznakowania dźwięk syntetyczny można pomylić z autentyczną mową.
Plan wdrożenia
Uzyskaj wyraźną zgodę na przechwytywanie, klonowanie i ponowne wykorzystanie głosu.
Testuj jakość na różnych głośnikach i w różnych warunkach otoczenia.
Zdefiniuj, kiedy człowiek musi przejrzeć lub zatwierdzić wyniki.
Oznacz dźwięk syntetyczny i prowadź dokumentację pochodzenia w celu zapewnienia odpowiedzialności.
Odkrywaj dalej
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Spleeter Stem Separation quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Następny poradnik
Separacja domeny czasu Conv-TasNet
Często zadawane pytania
What is Spleeter Stem Separation?
Spleeter to narzędzie typu open source firmy Deezer, które dzieli gotowy utwór na osobne ścieżki (wokal, perkusja, bas i inne) przy użyciu głębokiego uczenia. Dzięki niemu wysokiej jakości oddzielanie pni było szybkie, bezpłatne i dostępne dla każdego posiadacza laptopa.
Która firma pierwotnie wypuściła Spleeter?
Spleeter został wydany jako oprogramowanie typu open source w 2019 roku przez Deezer, francuską firmę zajmującą się streamingiem muzyki.
Na co rozdziela dźwięk 4-rdzeniowy model Spleetera?
Konfiguracja z 4 mostkami wyprowadza wokal, perkusję, bas i „inny” mostek do wszystkiego innego.
Z jakiej architektury sieci neuronowej korzysta Spleeter?
Spleeter wykorzystuje sieci splotowe U-Net, które przewidują maski na spektrogramie audio.
W jaki sposób Spleeter faktycznie wyodrębnia jedno źródło z miksu?
Sieć przewiduje maskę dla każdego źródła (wartości od 0 do 1), która jest mnożona przez spektrogram mieszaniny.
Jaka jest kluczowa zaleta praktyczna, która sprawiła, że Spleeter stał się popularny?
Spleeter może oddzielać dźwięk około 100 razy szybciej niż w czasie rzeczywistym na GPU, dzięki czemu jest szybki i dostępny.