Open-Unmix zeneelválasztás
Az Open-Unmix (UMX) egy nyílt forráskódú mély tanulási rendszer, amely a dalt részekre bontja: ének, dob, basszusgitár és egyéb hangszerek.
Áttekintés
Fontos, mint egy reprodukálható, referencia-minőségű alapvonal, amely a zenei források szétválasztását elérhetővé tette kutatók, zenészek és hobbisok számára.
Mély merülés
A Stoter, Uhlich, Liutkus és Mitsufuji által 2019-ben kiadott Open-Unmix szándékosan átlátszó, jól dokumentált alapvonalként készült a PyTorch-ban (TensorFlow és NNabla portokkal). Célszáronként egy modellt képez a keverék magnitúdóspektrogramján. A mag egy háromrétegű, kétirányú LSTM, amely teljesen összekapcsolt rétegekkel van burkolva, amely spektrális maszkot jósol a célforrás számára. Mivel nagyságrendileg működik, újra felhasználja a keverék fázisát, és inverz STFT-vel rekonstruálja a szárat, opcionálisan többcsatornás Wiener-szűrővel finomítva. A nyílt MUSDB18 adatkészletre oktatva nem hajszolja a legjobb ranglista pontszámokat; célja az áttekinthetőség és a reprodukálhatóság, amely megbízható összehasonlítási pontot és alapot ad a közösségnek, amelyre építeni lehet.
Technikai betekintés
Minden szárnak saját hálózata van, amely a bemeneti magnitúdóspektrogramon működik. A frekvenciatárakat egy sűrű réteg szabványosítja és csökkenti a dimenziókat, a kétirányú LSTM mindkét irányban rögzíti az időbeli kontextust, a további sűrű rétegek pedig teljes frekvenciafelbontásra bővülnek, így lágy maszkot alkotnak. A maszkot a keverék nagyságával megszorozva megkapjuk a becsült forrást; az eredeti fázist újra felhasználják, és a Wiener szűrő közösen finomítja az összes szárat a tisztább eredmény érdekében.
Stratégiai hatás
Hozzáférés és elérés
Javítja a hozzáférhetőséget az átírás, a narráció és a hangfelületek révén.
Költség és költségvetés
A médiacsapatok kisebb költségvetéssel gyorsabban szállíthatják a csiszolt hanganyagot.
Sebesség és méretarány
Az ügyfélközpontú rendszerek nagyobb léptékben képesek feldolgozni a beszélt interakciókat.
Az Open-Unmix zenei szétválasztás jövője
Az Open-Unmixet nyers minőségben megelőzték olyan hullámforma-modellek, mint a Demucs és a hibrid spektrogram-hullámforma rendszerek, de egyértelmű, feltörhető referenciaként betöltött szerepe megtartja a tanítás és a gyors prototípuskészítés szempontjából. Várható, hogy továbbra is használják az oktatásban és a józanság ellenőrzésének kiindulópontjaként, miközben a szélesebb terület a nagyobb pontosságú hibrid és transzformátor alapú szeparátorok, valamint a finomabb szemcsés műszerkategóriák elkülönítése felé mozdul el.
Valós megvalósítás
Egy elszigetelt éneksáv kinyerése egy dal karaoke vagy instrumentális verziójának elkészítéséhez.
Dob- vagy basszusszárak kihúzása a producerek általi újrakeveréshez és mintavételhez.
Reprodukálható kutatási alapként szolgál az új elválasztási modellek kiértékeléséhez a MUSDB18-on.
Hagyjuk, hogy a zenehallgatók elkülönítsenek egy hangszert, hogy egy mixben tanulmányozzák a részét.
Kockázatok és védőkorlátok
A beleegyezés hiányában nő a hanggal való visszaélés és a megszemélyesítés kockázata.
A pontosság csökkenhet az akcentusok, dialektusok vagy zajos környezetben.
A szintetikus hang összetéveszthető a hiteles beszéddel egyértelmű címkézés nélkül.
Végrehajtási ütemterv
Kérjen kifejezett hozzájárulást a hangrögzítéshez, klónozáshoz és újrafelhasználáshoz.
Tesztelje a minőséget különféle hangszórókon és háttérviszonyok között.
Határozza meg, mikor kell egy embernek felülvizsgálnia vagy jóváhagynia a kimeneteket.
Címkézze fel a szintetikus hanganyagot, és vezessen származási nyilvántartást az elszámoltathatóság érdekében.
Folytassa a felfedezést
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Open-Unmix Music Separation quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Következő útmutató
Zenei elválasztás
Gyakran ismételt kérdések
Mi az Open-Unmix zenei szétválasztás?
Az Open-Unmix (UMX) egy nyílt forráskódú mély tanulási rendszer, amely a dalt részekre bontja: ének, dob, basszusgitár és egyéb hangszerek. Reprodukálható, referenciaminőségű alapvonalként számít, amely lehetővé tette a zenei források elkülönítését kutatók, zenészek és hobbibarátok számára.
Mit csinál az Open-Unmix?
Az Open-Unmix egy zenei forrás-elválasztó rendszer, amely a keveréket különálló hangszer- és énektövekre bontja.
Milyen neurális hálózat az Open-Unmix magja?
Az Open-Unmix előrejelzi a spektrális maszkot egy kétirányú LSTM segítségével, amelyet teljesen összekapcsolt rétegek burkolnak.
Milyen ábrázoláson működik az Open-Unmix?
Magnitúdóspektrogramokon dolgozik, előrejelzi a maszkot, és újra felhasználja a keverék fázisát a rekonstrukcióhoz.
Melyik adatkészletre tanítják az Open-Unmixet?
Az Open-Unmix a nyílt MUSDB18 zeneleválasztási adatkészletet használja a képzéshez és az értékeléshez.
Mi volt az Open-Unmix fő tervezési célja?
Egyértelmű, jól dokumentált, reprodukálható alapvonalnak készült, nem pedig a legjobb fekete doboznak.