Rifuzní spektrogram Difúze
Riffusion je chytrý hack, který generuje hudbu tak, že nakládá se zvukem jako s obrazem: dolaďuje obrazový model Stable Diffusion tak, aby maloval spektrogramy, a poté tyto obrázky převádí zpět na zvuk.
Přehled
It matters because it shows a tool built for one medium (images) can produce another (music) with almost no new architecture.
Hluboký ponor
Riffusion, vydané koncem roku 2022 Sethem Forsgrenem a Haykem Martirosem, začalo jako hobby projekt. Základní trik: spektrogram je 2D obraz, kde horizontální osa je čas, vertikální osa je frekvence a jas pixelů je hlasitost. Protože Stable Diffusion již generuje obrázky z textových výzev, tvůrci jej doladili na tisících párových příkladů spektrogram-text. Vyzvěte jej pomocí „funky jazz bass“ a náhodný šum odšumí do spektrogramu tohoto zvuku. Aby byl zvuk přehrávatelný, Riffusion spouští spektrogram pomocí Griffin-Limova algoritmu, který rekonstruuje chybějící fázové informace. Vzhledem k tomu, že difúze se může mezi výzvami hladce interpolovat, může Riffusion také přeměnit jeden styl na jiný v souvislém klipu a plynule se opakovat.
Technický přehled
Riffusion znovu používá latentní difúzní potrubí beze změny: U-Net iterativně odstraňuje gaussovský šum z latentního obrazu podmíněného vkládáním textu CLIP. Jediným oborově specifickým dílem je reprezentace spektrogramu (mel-škála, logaritmický výkon) a Griffin-Limova fázová rekonstrukce, která mění předpovězený spektrogram velikosti zpět do tvaru vlny. Fáze je během kódování vyřazena, takže Griffin-Limův iterativní odhad je hlavním zdrojem charakteristických „vodnatých“ artefaktů.
Strategický dopad
Přístup a dosah
Zlepšuje dostupnost prostřednictvím přepisu, vyprávění a hlasových rozhraní.
Cena a rozpočet
Mediální týmy mohou dodávat vylepšený zvuk rychleji s menšími rozpočty.
Rychlost a měřítko
Systémy orientované na zákazníky mohou zpracovávat mluvené interakce ve větším měřítku.
Budoucnost difúze riffuzního spektrogramu
Riffusion prokázal, že most spektrogramu jako obrazu funguje, a tato myšlenka nyní žije ve větších audio systémech a společnost Riffusion se stala. Očekávejte budoucí nástroje, které nahradí ztrátový Griffin-Lim naučenými neurálními vokodéry pro čistší fázi a zkombinují difúzi spektrogramů s latentními zvukovými kodeky. Širší poučení, že obrazové modely lze přesměrovat na nové modality, nadále ovlivňuje, jak výzkumníci zavádějí audio a video generátory ze stávajících předtrénovaných páteřních sítí.
Real-World Implementace
Generování krátkých opakujících se stop na pozadí pro nezávislé videohry z textové výzvy, jako je „napjatá synthwave chase“
Plynulé morfování mezi dvěma hudebními styly, kupř. prolnutí 'tropického domu' do 'lo-fi hip hopu' v jediném klipu
Produkce bezplatných ambientních hudebních postelí pro videa a podcasty YouTube bez licenčních poplatků
Prototypování melodických nebo rytmických nápadů, které hudebník poté správně nahraje na digitální audio pracovní stanici
Rizika a zábradlí
Pokud chybí souhlas, zvyšuje se riziko zneužití hlasu a předstírání jiné identity.
Přesnost může klesat v přízvuku, dialektech nebo hlučném prostředí.
Syntetický zvuk lze bez jasného označení zaměnit za autentickou řeč.
Plán implementace
Získejte výslovný souhlas se zachycením hlasu, klonováním a opětovným použitím.
Otestujte kvalitu napříč různými reproduktory a podmínkami pozadí.
Definujte, kdy musí člověk zkontrolovat nebo schválit výstupy.
Označte syntetický zvuk a veďte záznamy o původu pro zajištění odpovědnosti.
Pokračujte v objevování
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Riffusion Spectrogram Diffusion quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Další průvodce
Difuzní vokodér DiffWave
Často kladené otázky
What is Riffusion Spectrogram Diffusion?
Riffusion je chytrý hack, který generuje hudbu tak, že nakládá se zvukem jako s obrazem: dolaďuje obrazový model Stable Diffusion tak, aby maloval spektrogramy, a poté tyto obrázky převádí zpět na zvuk. Záleží na tom, protože ukazuje, že nástroj vytvořený pro jedno médium (obrázky) může produkovat jiné (hudbu) s téměř žádnou novou architekturou.
Jaký existující model umělé inteligence Riffusion doladil, aby generoval hudbu?
Riffusion vyladil Stable Diffusion, model šíření obrazu, aby generoval spektrogramové obrazy, které jsou poté převedeny na zvuk.
Co představuje spektrogram na svých dvou osách?
Ve spektrogramu je horizontální osa čas, vertikální osa je frekvence a jas představuje hlasitost.
Proč Riffusion potřebuje algoritmus jako Griffin-Lim?
Spektrogram ukládá magnitudu, ale vyřazuje fázi, takže Griffin-Lim iterativně odhaduje fázi, aby znovu vytvořil hratelnou křivku.
Jakou schopnost poskytuje difuze Riffusion při prolnutí dvou výzev?
Difúzní modely mohou interpolovat v latentním prostoru a nechat Riffusion nepřetržitě přecházet z jednoho hudebního stylu do druhého.
Jak byl Riffusion původně vytvořen a vydán?
Riffusion začal jako hobby projekt Setha Forsgrena a Hayka Martirose, veřejně vydaný koncem roku 2022.