Il prossimoProssima guida
Incorporamenti audio e apprendimento della rappresentazione
IA audio
GUIDA AI audio
EnCodec è il codec audio neurale ad alta fedeltà di Meta che comprime parlato e musica a bitrate molto bassi con una qualità che rivaleggia con formati molto più pesanti.
Ascolta questa guidaNarrato dall'IA · ~2 min
È importante perché è alla base dei moderni sistemi audio generativi e viene fornito in formato open source affinché chiunque possa utilizzarlo.
Rilasciato da Meta AI nel 2022, EnCodec segue il progetto SoundStream di un codificatore, un quantizzatore vettoriale residuo (RVQ) e un decodificatore addestrato end-to-end, ma aggiunge diversi perfezionamenti. Utilizza un codificatore convoluzionale con capacità di streaming, uno spettrogramma multiscala, perdite di ricostruzione nel dominio del tempo e discriminatori contraddittori per la qualità percettiva. Un contributo notevole è un piccolo modello entropico basato su Transformer che comprime ulteriormente i codici quantizzati senza perdite, spremendo bit extra senza perdita di qualità. EnCodec introduce anche un bilanciatore che ridimensiona automaticamente le numerose perdite di allenamento concorrenti in modo che rimangano stabili. Gestisce audio monofonico a 24 kHz e stereo a 48 kHz, funziona con bitrate come 1,5, 3, 6 e 12 kbps e a 6 kbps raggiunge una qualità paragonabile a MP3 a 64 kbps. I suoi token alimentano MusicGen e AudioGen di Meta.
Tokenizzazione dell'audio per i generatori di testo in audio MusicGen e AudioGen di Meta
Compressione della voce a 24 kHz a 1,5-6 kbps per trasmissione con larghezza di banda limitata
Codifica di musica stereo a 48 kHz con qualità vicina all'MP3 a bitrate molto più elevati
Funge da codec drop-in open source per pipeline di ricerca e ML audio tramite i checkpoint rilasciati
EnCodec è già il tokenizzatore predefinito per diversi modelli audio generativi aperti, e i suoi discendenti stanno spingendo una maggiore fedeltà a bitrate più bassi, una ricostruzione stereo completa e di livello musicale e una più stretta integrazione con i generatori di testo in audio e testo in musica. Aspettatevi un'adozione più ampia nelle comunicazioni a larghezza di banda ridotta, nello streaming in tempo reale e come livello "token audio" standard che consente ad grandi architetture in stile modello linguistico di leggere e scrivere il suono.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
EnCodec è il codec audio neurale ad alta fedeltà di Meta che comprime parlato e musica a bitrate molto bassi con una qualità che rivaleggia con formati molto più pesanti. È importante perché è alla base dei moderni sistemi audio generativi e viene fornito in formato open source affinché chiunque possa utilizzarlo.
EnCodec è stato introdotto da Meta AI (FAIR) nel 2022 come codec audio neurale ad alta fedeltà.
EnCodec addestra un piccolo trasformatore per prevedere le probabilità dei token e codificarli aritmeticamente, ottenendo un'ulteriore compressione senza perdite oltre a RVQ.
EnCodec a 6 kbps raggiunge una qualità soggettiva simile a MP3 a 64 kbps, un grande guadagno in termini di efficienza.
Con molte perdite (ricostruzione, spettrale, contraddittorio), il bilanciatore ridimensiona i gradienti in modo che nessun singolo obiettivo domini, stabilizzando l'allenamento.
Come SoundStream, EnCodec utilizza la quantizzazione vettoriale residua per discretizzare gli incorporamenti del codificatore negli indici dei codici in pila.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Incorporamenti audio e apprendimento della rappresentazione
IA audio