āļāđāļāđāļāļāļģāđāļāļ°āļāļģāļāđāļāđāļ
DiffWave āļāļēāļĢāđāļāļĢāđāļāļĢāļ°āļāļēāļĒ Vocoder
āđāļŠāļĩāļĒāļāđāļāđāļ
āļāļđāđāļĄāļ·āļāđāļŠāļĩāļĒāļ AI
Riffusion adapts a text-to-image diffusion model to generate audio by generating spectrogram images and reconstructing waveforms.
āļāļąāļāļāļģāđāļāļ°āļāļģāļāļĩāđāļāļĢāļĢāļĒāļēāļĒāđāļāļĒ AI · ~2 min
It is a research and creative example; its outputs require listening and technical validation.
Released as a hobby project in 2022, Riffusion fine-tuned Stable Diffusion on paired text and spectrogram images. A spectrogram places time horizontally and frequency vertically, with pixel intensity representing magnitude or energy; this version uses a mel-frequency representation. The generated magnitude representation omits phase. Riffusion uses Griffin-Lim iterations to estimate phase and reconstruct a waveform, which can introduce audible artifacts. Its image-model adaptation demonstrates a route to audio generation, but does not guarantee musical quality or licensing status.
Exploring short musical sketches from text prompts
Comparing how prompt changes affect generated spectrogram patterns
Interpolating between prompt embeddings to explore transitions between sound ideas
Prototyping a musical idea before arranging or recording it in an audio workstation
Riffusion demonstrates one way to adapt an image-diffusion pipeline for audio by generating spectrogram images and reconstructing waveforms. The core project is marked no longer actively maintained. Generated clips should be checked for reconstruction artifacts and for rights appropriate to their intended use.
āļāļāļŦāļĄāļēāļĒāļāđāļēāļ§āļāļĢāļĩ
āđāļĢāļ·āđāļāļāļĢāļēāļ§ AI āļāļĩāđāļāļĢāļ§āļāļŠāļāļāđāļĨāđāļ§ 3 āđāļĢāļ·āđāļāļāļāļļāļāļ§āļąāļāļāļģāļāļēāļ āđāļāđāļē, āđāļāļĩāļĒāļāđāļāđāļāļ āļēāļĐāļēāļāļąāļāļāļĪāļĐāļāļĢāļĢāļĄāļāļē āļāļĢāļĩāļāļĨāļāļāđāļ āđāļĄāđāļĄāļĩāđāļāļĐāļāļē
āļāļĩāđāļĄāļĨāļŦāļāļķāđāļāļāļāļąāļāļāļļāļāļ§āļąāļāļāļģāļāļēāļ āļĒāļāđāļĨāļīāļāļāļēāļĢāļŠāļĄāļąāļāļĢāđāļāļāļĨāļīāļāđāļāļĩāļĒāļ§ āđāļĢāļēāđāļĄāđāđāļāļĒāļāļēāļĒāļŦāļĢāļ·āļāđāļāļĢāđāļāļĩāđāļāļĒāļđāđāļāļĩāđāļĄāļĨāļāļāļāļāļļāļ
āļāļāļŠāļāļāļāļąāļ§āđāļāļ
āļāđāļāđāļŠāļāļāđāļāļ°āļāļąāļāļāļĩāļŠāļģāļŦāļĢāļąāļāļāļļāļāļāļģāļāļāļ āđāļĨāļ°āđāļāļĢāļąāļāļĢāļāļāļāļĩāđāļŠāļēāļĄāļēāļĢāļāđāļāļĢāđāđāļāđāļāļĢāđāļāļĄ ID āļāļĩāđāļāļĢāļ§āļāļŠāļāļāđāļāđāđāļĄāļ·āđāļāļāļļāļāļāđāļēāļāļŦāļĨāļąāļāļŠāļđāļāļĢ
āļŠāļāļąāļāļŠāļāļļāļāļāļēāļĢāļĻāļķāļāļĐāļē AI āļāļĢāļĩ AI Understanding āđāļāđāļāļāļāļāđāļāļĢāđāļĄāđāđāļŠāļ§āļāļŦāļēāļāļĨāļāļģāđāļĢ 501(c)(3) â āđāļĄāđāļĄāļĩāđāļāļĐāļāļē āđāļĄāđāļĄāļĩāļāļģāđāļāļāđāļāļīāļ, āļāļĨāļāļāđāļ āļāļĢāļīāļāļēāļ
Riffusion adapts a text-to-image diffusion model to generate audio by generating spectrogram images and reconstructing waveforms. It is a research and creative example; its outputs require listening and technical validation.
Riffusion Stable Diffusion āļāļĩāđāļāļĢāļąāļāđāļāđāļāļāļĒāđāļēāļāļĨāļ°āđāļāļĩāļĒāļ āļāļķāđāļāđāļāđāļāđāļĄāđāļāļĨāļāļēāļĢāđāļāļĢāđāļāļĢāļ°āļāļēāļĒāļ āļēāļ āđāļāļ·āđāļāļŠāļĢāđāļēāļāļ āļēāļāļŠāđāļāļāđāļāļĢāđāļāļĢāļĄāļāļĩāđāđāļāļĨāļāđāļāđāļāđāļŠāļĩāļĒāļ
The spectrogram maps time horizontally and frequency vertically.
āļŠāđāļāļāđāļāļĢāđāļāļĢāļĄāļāļ°āđāļāđāļāļāļāļēāļāđāļ§āđāđāļāđāļāļ°āļĨāļ°āļāļīāđāļāđāļāļŠ āļāļąāļāļāļąāđāļ Griffin-Lim āļāļķāļāļāļĢāļ°āļĄāļēāļāđāļāļŠāļāđāļģāđ āđāļāļ·āđāļāļŠāļĢāđāļēāļāļĢāļđāļāļāļĨāļ·āđāļāļāļĩāđāļŠāļēāļĄāļēāļĢāļāđāļĨāđāļāđāļāđāđāļŦāļĄāđ
Riffusionâs pipeline supports prompt interpolation, allowing a transition between two prompt-conditioned generations.
Riffusion āđāļĢāļīāđāļĄāļāđāļāļāļēāļāđāļāļĢāđāļāđāļāļāđāļāļēāļāļāļāļīāđāļĢāļāđāļāļĒ Seth Forsgren āđāļĨāļ° Hayk Martiros āļāļķāđāļāđāļāļĒāđāļāļĢāđāļŠāļđāđāļŠāļēāļāļēāļĢāļāļ°āđāļāļāđāļ§āļāļāļĨāļēāļĒāļāļĩ 2022
āđāļĢāļĩāļĒāļāļĢāļđāđāļāđāļāđāļ
āļāļģāđāļāļ°āļāļģāđāļāļīāđāļĄāđāļāļīāļĄāļāļĩāđāđāļĨāļ·āļāļāļŠāļģāļŦāļĢāļąāļāļŦāļąāļ§āļāđāļāļāļĩāđ
āļāđāļāđāļāļāļģāđāļāļ°āļāļģāļāđāļāđāļ
DiffWave āļāļēāļĢāđāļāļĢāđāļāļĢāļ°āļāļēāļĒ Vocoder
āđāļŠāļĩāļĒāļāđāļāđāļ