概述
It is a research and creative example; its outputs require listening and technical validation.
深入探讨
Released as a hobby project in 2022, Riffusion fine-tuned Stable Diffusion on paired text and spectrogram images. A spectrogram places time horizontally and frequency vertically, with pixel intensity representing magnitude or energy; this version uses a mel-frequency representation. The generated magnitude representation omits phase. Riffusion uses Griffin-Lim iterations to estimate phase and reconstruct a waveform, which can introduce audible artifacts. Its image-model adaptation demonstrates a route to audio generation, but does not guarantee musical quality or licensing status.
现实世界的实施
Exploring short musical sketches from text prompts
Comparing how prompt changes affect generated spectrogram patterns
Interpolating between prompt embeddings to explore transitions between sound ideas
Prototyping a musical idea before arranging or recording it in an audio workstation
扩散谱图扩散的未来
Riffusion demonstrates one way to adapt an image-diffusion pipeline for audio by generating spectrogram images and reconstructing waveforms. The core project is marked no longer actively maintained. Generated clips should be checked for reconstruction artifacts and for rights appropriate to their intended use.
付诸实践
为什么这很重要
- 交通与覆盖范围. 它通过转录、旁白和语音界面提高了可访问性。
- 成本与预算. 媒体团队可以用更少的预算更快地交付精美的音频。
- 速度与规模. 面向客户的系统可以处理更大规模的语音交互。
留意
- 如果未征得同意，语音滥用和冒充风险就会增加。
- 由于口音、方言或嘈杂的环境，准确性可能会下降。
- 如果没有明确的标签，合成音频可能会被误认为是真实的语音。
后续步骤
- 获得语音捕获、克隆和重用的明确同意。
- 测试不同扬声器和背景条件下的质量。
- 定义人员必须审查或批准输出的时间。
- 标记合成音频并保留来源记录以供问责。
不断探索
常见问题
什么是扩散谱图扩散？
Riffusion adapts a text-to-image diffusion model to generate audio by generating spectrogram images and reconstructing waveforms. It is a research and creative example; its outputs require listening and technical validation.
Riffusion 对现有的哪些人工智能模型进行了微调来生成音乐？
Riffusion 对稳定扩散（一种图像扩散模型）进行了微调，以生成频谱图图像，然后将其转换为音频。
在 Riffusion 频谱图像中，哪一方向通常表示时间的增加？
The spectrogram maps time horizontally and frequency vertically.
为什么 Riffusion 需要像 Griffin-Lim 这样的算法？
频谱图存储幅度但丢弃相位，因此 Griffin-Lim 迭代估计相位以重建可播放波形。
在 Riffusion 中，插值可以做什么？
Riffusion’s pipeline supports prompt interpolation, allowing a transition between two prompt-conditioned generations.
Riffusion 最初是如何创建和发布的？
Riffusion 最初是 Seth Forsgren 和 Hayk Martiros 的一个业余爱好项目，于 2022 年底公开发布。