Spleeter szár szétválasztása
A Spleeter a Deezer nyílt forráskódú eszköze, amely a kész dalt külön sávokra (ének, dob, basszusgitár stb.) osztja fel mély tanulással.
Áttekintés
It made high-quality stem separation fast, free, and accessible to anyone with a laptop.
Mély merülés
A Deezer zenei streaming cég által 2019-ben kiadott Spleeter egy vegyes felvételt különálló hangszertörzekre bont. Három előre betanított konfigurációban szállítjuk: 2-tős (ének és kíséret), 4-törzs (ének, dob, basszusgitár, egyéb) és 5-tős (ami zongorát is tartalmaz). A motorháztető alatt U-Net konvolúciós neurális hálózatokat használ, amelyek a hang spektrogramján működnek, és minden forráshoz lágy maszkot jósolnak. Ha a maszkot megszorozzuk az eredeti spektrogrammal, és visszafordítjuk a hangra, akkor mindegyik tőhöz jut. A Spleetert a sebesség tette híressé: nagyjából 100-szor gyorsabban tudja szétválasztani a hangot, mint a valós időben egy GPU-n. Széles körben használják DJ-k, remixerek, átírók és karaoke-készítők, és olyan versengő szeparátorok hullámát váltotta ki, mint a Demucs.
Technikai betekintés
A Spleeter az idő-frekvencia tartományban működik. A hangot a rövid idejű Fourier transzformáció (STFT) segítségével magnitúdóspektrogrammá alakítja. Az U-Net (kihagyó kapcsolatokkal rendelkező kódoló-dekódoló) forrásonként megtanul egy 0 és 1 közötti maszkot minden idő-frekvencia tálcához. A maszkolt spektrogramot rekombináljuk az eredeti keverék fázisával, majd egy inverz STFT rekonstruálja a hullámformát. Mivel a nyers hang helyett lágy maszkokat becsül, a szivárgás és az újrafelhasznált fázis műtermékeket okoz.
Stratégiai hatás
Hozzáférés és elérés
Javítja a hozzáférhetőséget az átírás, a narráció és a hangfelületek révén.
Költség és költségvetés
A médiacsapatok kisebb költségvetéssel gyorsabban szállíthatják a csiszolt hanganyagot.
Sebesség és méretarány
Az ügyfélközpontú rendszerek nagyobb léptékben képesek feldolgozni a beszélt interakciókat.
A Spleeter szárleválasztás jövője
Az újabb hullámforma-tartományú modellek, mint például a Demucs és a hibrid transzformátor-leválasztók, immár felülmúlják a Spleetert a minőség terén, élesebb tranzienseket és kevesebb műterméket állítanak helyre. A tendencia a nagyobb szárszám (az egyes gitárok vagy háttérének elkülönítése), a valós idejű eszközön történő szétválasztás a DAW-kben és a telefonokban, valamint a streamelő alkalmazásokba történő integráció az azonnali újrakeverés vagy hozzáférhetőség érdekében. Maga a Spleeter továbbra is népszerű kiindulópont, mivel könnyű, ingyenes és könnyen futtatható, még akkor is, ha a kutatás fázis-tudatos és generatív megközelítéseket támaszt.
Valós megvalósítás
Azonnali karaoke számok létrehozása a vezető ének eltávolításával egy reklámdal
DJ-k és producerek, akik elkülönítik a dobot vagy a basszusgitárt remixek és mashupok készítéséhez
A zenehallgatók egyetlen hangszersort húznak ki, hogy átírják és gyakorolják
Régi felvételek helyreállítása vagy tisztítása sáros keverékek szétválasztásával és újraegyensúlyozásával
Kockázatok és védőkorlátok
A beleegyezés hiányában nő a hanggal való visszaélés és a megszemélyesítés kockázata.
A pontosság csökkenhet az akcentusok, dialektusok vagy zajos környezetben.
A szintetikus hang összetéveszthető a hiteles beszéddel egyértelmű címkézés nélkül.
Végrehajtási ütemterv
Kérjen kifejezett hozzájárulást a hangrögzítéshez, klónozáshoz és újrafelhasználáshoz.
Tesztelje a minőséget különféle hangszórókon és háttérviszonyok között.
Határozza meg, mikor kell egy embernek felülvizsgálnia vagy jóváhagynia a kimeneteket.
Címkézze fel a szintetikus hanganyagot, és vezessen származási nyilvántartást az elszámoltathatóság érdekében.
Folytassa a felfedezést
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Spleeter Stem Separation quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Következő útmutató
Conv-TasNet idő-domain szétválasztás
Gyakran ismételt kérdések
What is Spleeter Stem Separation?
A Spleeter a Deezer nyílt forráskódú eszköze, amely a kész dalt külön sávokra (ének, dob, basszusgitár stb.) osztja fel mély tanulással. A kiváló minőségű szárleválasztást gyors, ingyenes és mindenki számára elérhetővé tette, aki laptoppal rendelkezik.
Melyik cég adta ki eredetileg a Spleeter-t?
A Spleeter-t nyílt forráskódúként 2019-ben adta ki a Deezer, a francia zenei streaming cég.
Mire választja szét a hangot a Spleeter 4 szárú modellje?
A 4 szárú konfiguráció éneket, dobot, basszust és egy „egyéb” szárat ad ki minden máshoz.
Milyen neurális hálózati architektúrát használ a Spleeter?
A Spleeter U-Net konvolúciós hálózatokat használ, amelyek előrejelzik a maszkokat a hang spektrogramján.
Hogyan von ki a Spleeter egyetlen forrást a keverékből?
A hálózat megjósol egy forrásonkénti maszkot (0 és 1 közötti értékek), amelyet megszoroz a keverék spektrogramjával.
Melyik a legfontosabb gyakorlati előny, amely népszerűvé tette a Spleeter-t?
A Spleeter körülbelül 100-szor gyorsabban tudja szétválasztani a hangot, mint a valós időben egy GPU-n, így gyors és elérhető.