Spleeter stamseparation
Spleeter är ett open source-verktyg från Deezer som delar upp en färdig låt i separata spår (sång, trummor, bas och mer) med hjälp av djupinlärning.
Översikt
It made high-quality stem separation fast, free, and accessible to anyone with a laptop.
Djupdykning
Spleeter, släppt av musikstreamingföretaget Deezer 2019, delar upp en blandad inspelning i individuella instrumentstammar. Den levereras i tre förtränade konfigurationer: 2-stem (sång plus ackompanjemang), 4-stem (sång, trummor, bas, annat) och 5-stem (som lägger till piano). Under huven använder den U-Net konvolutionella neurala nätverk som fungerar på ljudets spektrogram, och förutsäger en mjuk mask för varje källa. Att multiplicera masken med det ursprungliga spektrogrammet och invertera tillbaka till ljud ger varje stam. Det som gjorde Spleeter känd var hastigheten: den kan separera ljud ungefär 100 gånger snabbare än realtid på en GPU. Det används i stor utsträckning av DJ:s, remixare, transkriberare och karaokemakare, och det utlöste en våg av konkurrerande separatorer som Demucs.
Teknisk insikt
Spleeter arbetar inom tidsfrekvensdomänen. Ljud omvandlas till ett magnitudspektrogram via Short-Time Fourier Transform (STFT). Ett U-nät (kodare-avkodare med överhoppningsanslutningar) lär sig, per källa, en mask mellan 0 och 1 för varje tidsfrekvensfack. Det maskerade spektrogrammet rekombineras med den ursprungliga blandningens fas, sedan rekonstruerar en invers STFT vågformen. Eftersom den uppskattar mjuka masker snarare än råljud, orsakar läckage och återanvänd fas artefakter.
Strategisk inverkan
Access and reach
Det förbättrar tillgängligheten genom transkription, berättarröst och röstgränssnitt.
Cost and budget
Medieteam kan skicka polerat ljud snabbare med mindre budgetar.
Speed and scale
Kundvända system kan behandla talade interaktioner i större skala.
Framtiden för Spleeter Stam Separation
Nyare vågformsdomänmodeller som Demucs och hybridtransformatorseparatorer slår nu Spleeter på kvalitet och återställer skarpare transienter och färre artefakter. Trenden går mot högre stamantal (separering av enskilda gitarrer eller bakgrundssång), separation i realtid på enheten i DAWs och telefoner, och integration i streamingappar för omedelbar remixning eller tillgänglighet. Spleeter i sig är fortfarande en populär baslinje eftersom den är lätt, gratis och lätt att köra, även när forskning driver fasmedvetna och generativa tillvägagångssätt.
Real-World Implementation
Skapa omedelbara karaokelåtar genom att ta bort sången från en kommersiell låt
DJ:s och producenter som isolerar en trumma eller basstam för att bygga remixer och mashups
Musikstudenter extraherar en enda instrumentlinje för att transkribera och öva tillsammans med
Återställa eller rengöra gamla inspelningar genom att separera och balansera leriga mixar
Risker & skyddsräcken
Riskerna för missbruk av röst och personifiering ökar när samtycke saknas.
Noggrannheten kan sjunka över accenter, dialekter eller bullriga miljöer.
Syntetiskt ljud kan misstas för autentiskt tal utan tydlig märkning.
Färdplan för genomförande
Skaffa uttryckligt samtycke för röstinfångning, kloning och återanvändning.
Testa kvalitet över olika högtalare och bakgrundsförhållanden.
Definiera när en människa måste granska eller godkänna utdata.
Märk syntetiskt ljud och håll härkomstregister för ansvarstagande.
Fortsätt utforska
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Spleeter Stem Separation quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Conv-TasNet tidsdomänseparation
Frequently asked questions
What is Spleeter Stem Separation?
Spleeter är ett open source-verktyg från Deezer som delar upp en färdig låt i separata spår (sång, trummor, bas och mer) med hjälp av djupinlärning. Det gjorde högkvalitativ stamseparering snabb, gratis och tillgänglig för alla med en bärbar dator.
Vilket företag släppte ursprungligen Spleeter?
Spleeter släpptes som öppen källkod 2019 av Deezer, det franska musikstreamingföretaget.
Vad separerar Spleeters 4-stammiga modell ljud i?
Den 4-stemmiga konfigurationen matar ut sång, trummor, bas och en "annan" stam för allt annat.
Vilken neural nätverksarkitektur använder Spleeter?
Spleeter använder U-Net konvolutionella nätverk som förutsäger masker på ljudets spektrogram.
Hur extraherar Spleeter egentligen en enda källa från mixen?
Nätverket förutsäger en mask per källa (värden 0 till 1) som multipliceras med blandningsspektrogrammet.
Vilken är en viktig praktisk fördel som gjorde Spleeter populär?
Spleeter kan separera ljud cirka 100 gånger snabbare än i realtid på en GPU, vilket gör det snabbt och tillgängligt.