LegközelebbKövetkező útmutató
DiffWave diffúziós Vocoder
Hangalapú AI
Audio AI ÚTMUTATÓ
Riffusion adapts a text-to-image diffusion model to generate audio by generating spectrogram images and reconstructing waveforms.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
It is a research and creative example; its outputs require listening and technical validation.
Released as a hobby project in 2022, Riffusion fine-tuned Stable Diffusion on paired text and spectrogram images. A spectrogram places time horizontally and frequency vertically, with pixel intensity representing magnitude or energy; this version uses a mel-frequency representation. The generated magnitude representation omits phase. Riffusion uses Griffin-Lim iterations to estimate phase and reconstruct a waveform, which can introduce audible artifacts. Its image-model adaptation demonstrates a route to audio generation, but does not guarantee musical quality or licensing status.
Exploring short musical sketches from text prompts
Comparing how prompt changes affect generated spectrogram patterns
Interpolating between prompt embeddings to explore transitions between sound ideas
Prototyping a musical idea before arranging or recording it in an audio workstation
Riffusion demonstrates one way to adapt an image-diffusion pipeline for audio by generating spectrogram images and reconstructing waveforms. The core project is marked no longer actively maintained. Generated clips should be checked for reconstruction artifacts and for rights appropriate to their intended use.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
Riffusion adapts a text-to-image diffusion model to generate audio by generating spectrogram images and reconstructing waveforms. It is a research and creative example; its outputs require listening and technical validation.
Riffúziós finomhangolású Stable Diffusion, egy képdiffúziós modell, amely spektrogramképeket generál, amelyeket aztán hanggá konvertál.
A spektrogram vízszintesen leképezi az időt és függőlegesen a frekvenciát.
A spektrogram tárolja a magnitúdót, de elveti a fázist, így a Griffin-Lim iteratív módon megbecsüli a fázist a lejátszható hullámforma újjáépítéséhez.
A Riffusion folyamata támogatja az azonnali interpolációt, lehetővé téve az átmenetet két prompt-kondicionált generáció között.
A Riffusion Seth Forsgren és Hayk Martiros hobbiprojektjeként indult, amelyet 2022 végén hoztak nyilvánosságra.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
DiffWave diffúziós Vocoder
Hangalapú AI