GUIDA AI audio

Diffusione dello spettrogramma di diffusione

Riffusion adatta un modello di diffusione testo-immagine per generare audio generando immagini spettrografiche e ricostruendo forme d'onda.

Ascolta questa guidaNarrato dall'IA · ~2 min

In questa pagina2 minuti di lettura
  1. Panoramica
  2. Immersione profonda
  3. Implementazione nel mondo reale
  4. Il futuro della diffusione dello spettrogramma a diffusione
  5. Metterlo in pratica
  6. Continua a esplorare
  7. Domande frequenti

Panoramica

È un esempio di ricerca e creatività; i suoi risultati richiedono ascolto e convalida tecnica.

Immersione profonda

Pubblicato come progetto hobby nel 2022, Riffusion ha perfezionato Stable Diffusion su testo accoppiato e immagini dello spettrogramma. Uno spettrogramma posiziona il tempo orizzontalmente e la frequenza verticalmente, con l'intensità dei pixel che rappresenta la grandezza o l'energia; questa versione utilizza una rappresentazione della frequenza mel. La rappresentazione della magnitudo generata omette la fase. Riffusion utilizza le iterazioni Griffin-Lim per stimare la fase e ricostruire una forma d'onda, che può introdurre artefatti udibili. Il suo adattamento al modello di immagine mostra un percorso verso la generazione audio, ma non garantisce la qualità musicale o lo stato di licenza.

Implementazione nel mondo reale

Esplorare brevi schizzi musicali da suggerimenti di testo

Confronto del modo in cui le modifiche tempestive influiscono sui modelli di spettrogrammi generati

Interpolazione tra incorporamenti rapidi per esplorare le transizioni tra idee sonore

Prototipare un'idea musicale prima di arrangiarla o registrarla in una workstation audio

Il futuro della diffusione dello spettrogramma a diffusione

Riffusion dimostra un modo per adattare una pipeline di diffusione delle immagini per l'audio generando immagini spettrografiche e ricostruendo le forme d'onda. Il progetto principale è contrassegnato come non più mantenuto attivamente. Le clip generate dovrebbero essere controllate per gli artefatti di ricostruzione e per i diritti appropriati all'uso previsto.

Metterlo in pratica

Perché è importante

  • Accedere e raggiungere. Migliora l'accessibilità attraverso la trascrizione, la narrazione e le interfacce vocali.
  • Costo e budget. I team media possono fornire audio raffinato più velocemente con budget inferiori.
  • Velocità e scala. I sistemi rivolti al cliente possono elaborare le interazioni parlate su scala più ampia.

Attenzione

  • I rischi di uso improprio della voce e di impersonificazione aumentano quando manca il consenso.
  • La precisione può diminuire se si considerano accenti, dialetti o ambienti rumorosi.
  • L'audio sintetico può essere confuso con un parlato autentico senza un'etichettatura chiara.

Prossimi passi

  1. Ottieni il consenso esplicito per l'acquisizione, la clonazione e il riutilizzo della voce.
  2. Testare la qualità su diversi altoparlanti e condizioni di fondo.
  3. Definire quando un essere umano deve rivedere o approvare gli output.
  4. Etichettare l'audio sintetico e conservare i registri di provenienza per responsabilità.

Continua a esplorare

Newsletter gratuita

Ricevi il briefing quotidiano sull'IA

Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.

Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.

Mettiti alla prova

Fai il quiz Riffusion Spectrogram Diffusion

Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.

Inizia il quiz

Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione

Domande frequenti

Cos'è la diffusione dello spettrogramma a fuorifusione?

Riffusion adatta un modello di diffusione testo-immagine per generare audio generando immagini spettrografiche e ricostruendo forme d'onda. È un esempio di ricerca e creatività; i suoi risultati richiedono ascolto e convalida tecnica.

Quale modello di intelligenza artificiale esistente ha messo a punto Riffusion per generare musica?

Riffusion ha ottimizzato Stable Diffusion, un modello di diffusione delle immagini, per generare immagini spettrografiche che vengono poi convertite in audio.

Su un'immagine dello spettrogramma di Riffusione, quale direzione rappresenta tipicamente l'aumento del tempo?

Lo spettrogramma mappa il tempo orizzontalmente e la frequenza verticalmente.

Perché Riffusion ha bisogno di un algoritmo come Griffin-Lim?

Lo spettrogramma memorizza la grandezza ma scarta la fase, quindi Griffin-Lim stima iterativamente la fase per ricostruire una forma d'onda riproducibile.

Cosa può fare l'interpolazione tempestiva in Riffusion?

La pipeline di Riffusion supporta l’interpolazione tempestiva, consentendo una transizione tra due generazioni condizionate dal prompt.

Come è stato originariamente creato e pubblicato Riffusion?

Riffusion è iniziato come un progetto hobby di Seth Forsgren e Hayk Martiros, pubblicato pubblicamente alla fine del 2022.