Il prossimoProssima guida
Vocoder a diffusione DiffWave
IA audio
GUIDA AI audio
Riffusion adatta un modello di diffusione testo-immagine per generare audio generando immagini spettrografiche e ricostruendo forme d'onda.
Ascolta questa guidaNarrato dall'IA · ~2 min
È un esempio di ricerca e creatività; i suoi risultati richiedono ascolto e convalida tecnica.
Pubblicato come progetto hobby nel 2022, Riffusion ha perfezionato Stable Diffusion su testo accoppiato e immagini dello spettrogramma. Uno spettrogramma posiziona il tempo orizzontalmente e la frequenza verticalmente, con l'intensità dei pixel che rappresenta la grandezza o l'energia; questa versione utilizza una rappresentazione della frequenza mel. La rappresentazione della magnitudo generata omette la fase. Riffusion utilizza le iterazioni Griffin-Lim per stimare la fase e ricostruire una forma d'onda, che può introdurre artefatti udibili. Il suo adattamento al modello di immagine mostra un percorso verso la generazione audio, ma non garantisce la qualità musicale o lo stato di licenza.
Esplorare brevi schizzi musicali da suggerimenti di testo
Confronto del modo in cui le modifiche tempestive influiscono sui modelli di spettrogrammi generati
Interpolazione tra incorporamenti rapidi per esplorare le transizioni tra idee sonore
Prototipare un'idea musicale prima di arrangiarla o registrarla in una workstation audio
Riffusion dimostra un modo per adattare una pipeline di diffusione delle immagini per l'audio generando immagini spettrografiche e ricostruendo le forme d'onda. Il progetto principale è contrassegnato come non più mantenuto attivamente. Le clip generate dovrebbero essere controllate per gli artefatti di ricostruzione e per i diritti appropriati all'uso previsto.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
Riffusion adatta un modello di diffusione testo-immagine per generare audio generando immagini spettrografiche e ricostruendo forme d'onda. È un esempio di ricerca e creatività; i suoi risultati richiedono ascolto e convalida tecnica.
Riffusion ha ottimizzato Stable Diffusion, un modello di diffusione delle immagini, per generare immagini spettrografiche che vengono poi convertite in audio.
Lo spettrogramma mappa il tempo orizzontalmente e la frequenza verticalmente.
Lo spettrogramma memorizza la grandezza ma scarta la fase, quindi Griffin-Lim stima iterativamente la fase per ricostruire una forma d'onda riproducibile.
La pipeline di Riffusion supporta l’interpolazione tempestiva, consentendo una transizione tra due generazioni condizionate dal prompt.
Riffusion è iniziato come un progetto hobby di Seth Forsgren e Hayk Martiros, pubblicato pubblicamente alla fine del 2022.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Vocoder a diffusione DiffWave
IA audio