Diffusione dello spettrogramma di diffusione
Riffusion è un trucco intelligente che genera musica trattando il suono come un'immagine: mette a punto il modello di immagine Stable Diffusion per dipingere spettrogrammi, quindi riconverte quelle immagini in audio.
Panoramica
È importante perché mostra che uno strumento costruito per un mezzo (immagini) può produrre un altro (musica) con quasi nessuna nuova architettura.
Immersione profonda
Riffusion, pubblicato alla fine del 2022 da Seth Forsgren e Hayk Martiros, è iniziato come progetto hobby. Il trucco principale: uno spettrogramma è un'immagine 2D in cui l'asse orizzontale è il tempo, l'asse verticale è la frequenza e la luminosità dei pixel è il volume. Poiché Stable Diffusion genera già immagini da istruzioni di testo, i creatori l'hanno perfezionato su migliaia di esempi di spettrogramma-testo accoppiati. Attivalo con "funky jazz bass" e denomina il rumore casuale in uno spettrogramma di quel suono. Per rendere l'audio riproducibile, Riffusion esegue lo spettrogramma attraverso un algoritmo Griffin-Lim che ricostruisce le informazioni di fase mancanti. Poiché la diffusione può interpolare agevolmente tra i prompt, Riffusion può anche trasformare uno stile in un altro su una clip continua, ripetendo senza soluzione di continuità.
Approfondimento tecnico
Riffusion riutilizza la pipeline di diffusione latente invariata: una U-Net rimuove iterativamente il rumore gaussiano da un'immagine latente condizionata su un incorporamento di testo CLIP. L'unico lavoro specifico del dominio è la rappresentazione dello spettrogramma (scala mel, potenza logaritmica) e la ricostruzione di fase Griffin-Lim che trasforma lo spettrogramma della magnitudine prevista in una forma d'onda. La fase viene scartata durante la codifica, quindi la stima iterativa di Griffin-Lim è la fonte principale dei caratteristici artefatti "acquosi".
Impatto strategico
Accedere e raggiungere
Migliora l'accessibilità attraverso la trascrizione, la narrazione e le interfacce vocali.
Costo e budget
I team media possono fornire audio raffinato più velocemente con budget inferiori.
Velocità e scala
I sistemi rivolti al cliente possono elaborare le interazioni parlate su scala più ampia.
Il futuro della diffusione dello spettrogramma a diffusione
Riffusion ha dimostrato che il ponte spettrogramma-come-immagine funziona, e quell'idea ora sopravvive all'interno di sistemi audio più grandi e nella società Riffusion diventata. Aspettatevi strumenti futuri per sostituire Griffin-Lim con perdita di dati con vocoder neurali appresi per una fase più pulita e per combinare la diffusione dello spettrogramma con codec audio latenti. La lezione più ampia, ovvero che i modelli di immagine possono essere reindirizzati a nuove modalità, continua a influenzare il modo in cui i ricercatori avviano i generatori audio e video dalle dorsali preaddestrate esistenti.
Implementazione nel mondo reale
Generazione di brevi tracce di sottofondo in loop per videogiochi indipendenti da un messaggio di testo come "teso inseguimento di synthwave"
Morphing fluido tra due stili musicali, ad es. fondendo "tropical house" con "lo-fi hip hop" in un unico clip
Produzione di basi di musica ambientale royalty-free per video e podcast di YouTube senza costi di licenza
Prototipazione di idee melodiche o ritmiche che un musicista poi registra nuovamente correttamente in una workstation audio digitale
Rischi e guardrail
I rischi di uso improprio della voce e di impersonificazione aumentano quando manca il consenso.
La precisione può diminuire se si considerano accenti, dialetti o ambienti rumorosi.
L'audio sintetico può essere confuso con un parlato autentico senza un'etichettatura chiara.
Tabella di marcia per l'implementazione
Ottieni il consenso esplicito per l'acquisizione, la clonazione e il riutilizzo della voce.
Testare la qualità su diversi altoparlanti e condizioni di fondo.
Definire quando un essere umano deve rivedere o approvare gli output.
Etichettare l'audio sintetico e conservare i registri di provenienza per responsabilità.
Continua a esplorare
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Riffusion Spectrogram Diffusion quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Prossima guida
Vocoder a diffusione DiffWave
Domande frequenti
Cos'è la diffusione dello spettrogramma a fuorifusione?
Riffusion è un trucco intelligente che genera musica trattando il suono come un'immagine: mette a punto il modello di immagine Stable Diffusion per dipingere spettrogrammi, quindi riconverte quelle immagini in audio. È importante perché mostra che uno strumento costruito per un mezzo (le immagini) può produrne un altro (la musica) quasi senza alcuna nuova architettura.
Quale modello di intelligenza artificiale esistente ha messo a punto Riffusion per generare musica?
Riffusion ha ottimizzato Stable Diffusion, un modello di diffusione delle immagini, per generare immagini spettrografiche che vengono poi convertite in audio.
Cosa rappresenta uno spettrogramma sui suoi due assi?
In uno spettrogramma l'asse orizzontale è il tempo, l'asse verticale è la frequenza e la luminosità rappresenta il volume.
Perché Riffusion ha bisogno di un algoritmo come Griffin-Lim?
Lo spettrogramma memorizza la grandezza ma scarta la fase, quindi Griffin-Lim stima iterativamente la fase per ricostruire una forma d'onda riproducibile.
Quale capacità offre la diffusione a Riffusion quando si fondono due prompt?
I modelli di diffusione possono interpolare nello spazio latente, lasciando che Riffusion si trasformi continuamente da uno stile musicale all'altro.
Come è stato originariamente creato e pubblicato Riffusion?
Riffusion è iniziato come un progetto hobby di Seth Forsgren e Hayk Martiros, pubblicato pubblicamente alla fine del 2022.