Riffúziós spektrogram diffúzió
A Riffusion egy okos hack, amely úgy generál zenét, hogy a hangot képként kezeli: finomhangolja a Stable Diffusion képmodellt, hogy spektrogramokat festsen, majd ezeket a képeket újra hanggá alakítja.
Áttekintés
It matters because it shows a tool built for one medium (images) can produce another (music) with almost no new architecture.
Mély merülés
A Seth Forsgren és Hayk Martiros által 2022 végén kiadott Riffusion hobbiprojektként indult. A fő trükk: a spektrogram egy 2D-s kép, ahol a vízszintes tengely az idő, a függőleges tengely a frekvencia, a pixelfényesség pedig a hangosság. Mivel a Stable Diffusion már képeket generál szöveges promptokból, az alkotók több ezer páros spektrogram-szöveg példán finomhangolták. Kérje meg a „funky jazz basszussal”, és a véletlenszerű zajt ennek a hangnak a spektrogrammává alakítja. A lejátszható hangzás érdekében a Riffusion a spektrogramot egy Griffin-Lim algoritmuson keresztül futtatja, amely rekonstruálja a hiányzó fázisinformációkat. Mivel a diffúzió zökkenőmentesen interpolálhat a promptok között, a Riffusion is képes az egyik stílust a másikba alakítani egy folyamatos klip segítségével, zökkenőmentesen hurkolva.
Technikai betekintés
A riffúzió változatlanul újrafelhasználja a látens diffúziós csővezetéket: az U-Net iteratív módon eltávolítja a Gauss-zajt a CLIP szövegbeágyazáson kondicionált látens képből. Az egyetlen tartomány-specifikus munka a spektrogram reprezentáció (mel-skála, log teljesítmény) és a Griffin-Lim fázisrekonstrukció, amely a megjósolt magnitúdó spektrogramot visszafordítja hullámformává. A fázist a kódolás során el kell dobni, így a Griffin-Lim iteratív becslése a jellegzetes „vizes” műtermékek fő forrása.
Stratégiai hatás
Hozzáférés és elérés
Javítja a hozzáférhetőséget az átírás, a narráció és a hangfelületek révén.
Költség és költségvetés
A médiacsapatok kisebb költségvetéssel gyorsabban szállíthatják a csiszolt hanganyagot.
Sebesség és méretarány
Az ügyfélközpontú rendszerek nagyobb léptékben képesek feldolgozni a beszélt interakciókat.
A riffúziós spektrogram diffúzió jövője
A Riffusion bebizonyította, hogy a spektrogram mint kép híd működik, és ez az ötlet ma már a nagyobb audiorendszerekben él, és a Riffusion cég lett. A jövőbeli eszközök arra számítanak, hogy a veszteséges Griffin-Lim-et betanult neurális vokóderekre cserélik a tisztább fázis érdekében, és kombinálják a spektrogram diffúziót a látens hangkodekekkel. A tágabb tanulság, miszerint a képmodellek átirányíthatók új módozatokhoz, továbbra is befolyásolja, hogy a kutatók hogyan indítják el a hang- és videogenerátorokat a meglévő, előre képzett gerinchálózatból.
Valós megvalósítás
Rövid hurkolt háttérsávok generálása független videojátékokhoz szöveges promptból, például „feszült szintihullám-hajsza”
Simán morfondírozni két zenei stílus között, pl. a "trópusi ház" és a "lo-fi hip hop" keveréke egyetlen klipben
Jogdíjmentes ambient zenei ágyak készítése YouTube-videókhoz és podcastokhoz licencdíjak nélkül
Dallam- vagy ritmikai ötletek prototípusa, amelyeket a zenész megfelelően újra felvesz egy digitális audio munkaállomáson
Kockázatok és védőkorlátok
A beleegyezés hiányában nő a hanggal való visszaélés és a megszemélyesítés kockázata.
A pontosság csökkenhet az akcentusok, dialektusok vagy zajos környezetben.
A szintetikus hang összetéveszthető a hiteles beszéddel egyértelmű címkézés nélkül.
Végrehajtási ütemterv
Kérjen kifejezett hozzájárulást a hangrögzítéshez, klónozáshoz és újrafelhasználáshoz.
Tesztelje a minőséget különféle hangszórókon és háttérviszonyok között.
Határozza meg, mikor kell egy embernek felülvizsgálnia vagy jóváhagynia a kimeneteket.
Címkézze fel a szintetikus hanganyagot, és vezessen származási nyilvántartást az elszámoltathatóság érdekében.
Folytassa a felfedezést
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Riffusion Spectrogram Diffusion quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Következő útmutató
DiffWave diffúziós Vocoder
Gyakran ismételt kérdések
What is Riffusion Spectrogram Diffusion?
A Riffusion egy okos hack, amely úgy generál zenét, hogy a hangot képként kezeli: finomhangolja a Stable Diffusion képmodellt, hogy spektrogramokat festsen, majd ezeket a képeket újra hanggá alakítja. Ez azért fontos, mert megmutatja, hogy az egyik médiumhoz (képekhez) épített eszköz képes egy másik (zene) előállítására szinte új architektúra nélkül.
Melyik létező AI-modellt finomhangolta a Riffusion, hogy zenét generáljon?
Riffúziós finomhangolású Stable Diffusion, egy képdiffúziós modell, amely spektrogramképeket generál, amelyeket aztán hanggá konvertál.
Mit ábrázol a spektrogram a két tengelyén?
A spektrogramban a vízszintes tengely az idő, a függőleges tengely a frekvencia, a fényerő pedig a hangosság.
Miért van szüksége a Riffúziónak olyan algoritmusra, mint a Griffin-Lim?
A spektrogram tárolja a magnitúdót, de elveti a fázist, így a Griffin-Lim iteratív módon megbecsüli a fázist a lejátszható hullámforma újjáépítéséhez.
Milyen képességet ad a diffúzió a Riffusion-nak két felszólítás keverésekor?
A diffúziós modellek interpolálhatnak a látens térben, lehetővé téve a Riffúziós folyamatos átalakulást egyik zenei stílusról a másikra.
Hogyan jött létre és adták ki eredetileg a Riffusion-t?
A Riffusion Seth Forsgren és Hayk Martiros hobbiprojektjeként indult, amelyet 2022 végén hoztak nyilvánosságra.