A continuaciónSiguiente guía
Vocodificador de difusión DiffWave
IA de audio
GUÍA de IA en audio
Riffusion: difusión sobre espectrogramas
Riffusion adapta un modelo de difusión de texto a imagen para generar audio, produciendo imágenes de espectrogramas y reconstruyendo las formas de onda.
Escuche esta guíaNarrado por IA · ~2 min
En esta pagina2 minutos de lectura
Descripción general
Es un ejemplo de investigación y creativo; sus resultados requieren escucha y validación técnica.
Buceo profundo
Lanzado como proyecto de pasatiempo en 2022, Riffusion ajustó Stable Diffusion con pares de texto e imágenes de espectrogramas. Un espectrograma coloca el tiempo en horizontal y la frecuencia en vertical, y la intensidad del píxel representa la magnitud o la energía; esta versión usa una representación en escala mel. La representación de magnitud generada omite la fase. Riffusion usa iteraciones de Griffin-Lim para estimar la fase y reconstruir una forma de onda, lo que puede introducir artefactos audibles. Su adaptación de un modelo de imágenes demuestra un camino hacia la generación de audio, pero no garantiza calidad musical ni el estado de las licencias.
Implementación en el mundo real
Explorar bocetos musicales breves a partir de prompts de texto
Comparar cómo afectan los cambios en el prompt a los patrones del espectrograma generado
Interpolar entre embeddings de prompts para explorar transiciones entre ideas sonoras
Prototipar una idea musical antes de arreglarla o grabarla en una estación de trabajo de audio digital
El futuro de la difusión del espectrograma de riffusión
Riffusion demuestra una forma de adaptar un flujo de difusión de imágenes al audio, generando imágenes de espectrogramas y reconstruyendo formas de onda. El proyecto principal está marcado como sin mantenimiento activo. Conviene revisar los clips generados en busca de artefactos de reconstrucción y comprobar que los derechos sean adecuados para el uso previsto.
Poniéndolo en práctica
Por qué es importante
- Acceso y alcance. Mejora la accesibilidad a través de transcripción, narración e interfaces de voz.
- Costo y presupuesto. Los equipos de medios pueden enviar audio pulido más rápido con presupuestos más pequeños.
- Velocidad y escala. Los sistemas de cara al cliente pueden procesar interacciones habladas a mayor escala.
cuidado con
- Los riesgos de uso indebido de voz y suplantación de identidad aumentan cuando falta el consentimiento.
- La precisión puede disminuir según los acentos, los dialectos o los entornos ruidosos.
- El audio sintético puede confundirse con el habla auténtica sin un etiquetado claro.
Próximos pasos
- Obtenga consentimiento explícito para la captura, clonación y reutilización de voz.
- Pruebe la calidad en diversos oradores y condiciones de fondo.
- Defina cuándo un humano debe revisar o aprobar los resultados.
- Etiquete el audio sintético y mantenga registros de procedencia para la rendición de cuentas.
Sigue explorando
Boletín gratuito
Recibe el resumen diario de IA
Tres noticias verificadas sobre IA cada mañana de lunes a viernes, explicadas con claridad. Gratis para siempre y sin anuncios.
Un correo cada día laborable. Date de baja con un clic. Nunca vendemos ni compartimos tu dirección.
Ponte a prueba
Haz el cuestionario sobre Riffusion y la difusión de espectrogramas
Corrección inmediata en cada respuesta y un certificado para compartir, con un ID verificable, cuando apruebas un curso.
Apoya la educación gratuita sobre IA. AI Understanding es una organización sin fines de lucro 501(c)(3): sin anuncios ni muros de pago, nunca. Hacer una donación
Preguntas frecuentes
¿Qué es Riffusion, la difusión de espectrogramas?
Riffusion adapta un modelo de difusión de texto a imagen para generar audio, produciendo imágenes de espectrogramas y reconstruyendo formas de onda. Es un ejemplo creativo y de investigación; sus resultados requieren escucha y validación técnica.
¿Qué modelo de IA existente afinó Riffusion para generar música?
Riffusion ajustó la difusión estable, un modelo de difusión de imágenes, para generar imágenes de espectrograma que luego se convierten en audio.
En una imagen de espectrograma de Riffusion, ¿qué dirección representa normalmente el aumento del tiempo?
El espectrograma representa el tiempo en horizontal y la frecuencia en vertical.
¿Por qué Riffusion necesita un algoritmo como Griffin-Lim?
El espectrograma almacena la magnitud pero descarta la fase, por lo que Griffin-Lim estima de forma iterativa la fase para reconstruir una forma de onda reproducible.
¿Qué puede hacer la interpolación de prompts en Riffusion?
La canalización de Riffusion admite la interpolación de prompts, lo que permite una transición entre dos generaciones condicionadas por prompts.
¿Cómo se creó y lanzó originalmente Riffusion?
Riffusion comenzó como un proyecto de hobby de Seth Forsgren y Hayk Martiros, lanzado públicamente a finales de 2022.
sigue aprendiendo
Guías relacionadas
Más guías seleccionadas para este tema.