Il prossimoProssima guida
Sintesi testo-audio AudioGen
IA audio
GUIDA AI audio
DDSP (Differentiable Digital Signal Processing) fonde i classici elementi costitutivi del sintetizzatore con le reti neurali, in modo che il deep learning possa controllare direttamente oscillatori e filtri.
Ascolta questa guidaNarrato dall'IA · ~2 min
Produce suoni strumentali sorprendentemente naturali e controllabili con modelli minuscoli e pochi dati.
DDSP, introdotto dal team Magenta di Google nel 2020, ripensa la generazione dell'audio neurale. Invece di una rete che prevede campioni audio grezzi uno alla volta (come WaveNet) o pixel di uno spettrogramma, DDSP rende differenziabili i tradizionali componenti DSP – un oscillatore armonico additivo, un generatore di rumore filtrato e un riverbero. Ciò significa che i gradienti possono fluire attraverso di essi durante l’addestramento, quindi una piccola rete neurale impara a emettere segnali di controllo interpretabili: l’altezza fondamentale, il volume generale e le ampiezze di dozzine di armoniche nel tempo. Un sintetizzatore esegue quindi il rendering dell'audio effettivo da questi controlli. Poiché la fisica del suono è incorporata nell'architettura anziché appresa da zero, DDSP raggiunge un'alta qualità con molti meno parametri ed esempi di formazione e consente agli utenti di manipolare in modo indipendente intonazione, volume e timbro, anche eseguendo il trasferimento del timbro, come far suonare una voce cantata come un violino.
Strumenti di trasferimento timbrico che prendono una melodia canticchiata o cantata e la riproducono come un violino, un flauto o una tromba in tempo reale.
Plug-in sintetizzatori neurali leggeri che i musicisti controllano con manopole intuitive di tono, volume e luminosità.
Correzione dell'intonazione e risintesi espressiva degli strumenti registrati preservando i dettagli armonici naturali.
Demo musicali interattive basate su browser che generano suoni strumentali realistici senza pesanti modelli GPU.
DDSP sta promuovendo strumenti neurali ed effetti audio in tempo reale e a bassa latenza che funzionano su hardware modesto, inclusi browser e dispositivi incorporati. I suoi controlli interpretabili lo rendono ideale per strumenti di performance espressivi e sintetizzatori ibridi in cui i musicisti compongono direttamente il timbro. I ricercatori stanno estendendo l’idea del DSP differenziabile alla modellazione fisica, all’acustica ambientale e alle catene di produzione audio complete, unendo la controllabilità dell’elaborazione classica del segnale con il realismo dell’apprendimento profondo attraverso la creazione musicale e la progettazione del suono.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
DDSP (Differentiable Digital Signal Processing) fonde i classici elementi costitutivi del sintetizzatore con le reti neurali, in modo che il deep learning possa controllare direttamente oscillatori e filtri. Produce suoni strumentali sorprendentemente naturali e controllabili con modelli minuscoli e pochi dati.
DDSP trasforma i tradizionali elementi costitutivi del sintetizzatore in moduli differenziabili, consentendo a una rete neurale di imparare a controllarli tramite la backpropagation.
La rete prevede parametri di controllo variabili nel tempo e un sintetizzatore differenziabile separato ne riproduce l'audio: non emette mai direttamente i campioni.
Un oscillatore armonico additivo produce la parte armonica intonata, mentre il rumore filtrato aggiunge respiro e struttura inarmonica.
Poiché la struttura nota di elaborazione del segnale è integrata anziché appresa da zero, la rete ha molto meno da apprendere, migliorando l'efficienza dei dati e dei parametri.
Il confronto di spettrogrammi di magnitudo a più risoluzioni è efficace per le differenze di fase, con le quali le perdite a livello di campione hanno difficoltà.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Sintesi testo-audio AudioGen
IA audio