Compressione audio EnCodec
EnCodec è il codec audio neurale ad alta fedeltà di Meta che comprime parlato e musica a bitrate molto bassi con una qualità che rivaleggia con formati molto più pesanti.
Panoramica
It matters because it underpins modern generative audio systems and ships in open-source form for anyone to use.
Immersione profonda
Rilasciato da Meta AI nel 2022, EnCodec segue il progetto SoundStream di un codificatore, un quantizzatore vettoriale residuo (RVQ) e un decodificatore addestrato end-to-end, ma aggiunge diversi perfezionamenti. Utilizza un codificatore convoluzionale con capacità di streaming, uno spettrogramma multiscala, perdite di ricostruzione nel dominio del tempo e discriminatori contraddittori per la qualità percettiva. Un contributo notevole è un piccolo modello entropico basato su Transformer che comprime ulteriormente i codici quantizzati senza perdite, spremendo bit extra senza perdita di qualità. EnCodec introduce anche un bilanciatore che ridimensiona automaticamente le numerose perdite di allenamento concorrenti in modo che rimangano stabili. Gestisce audio monofonico a 24 kHz e stereo a 48 kHz, funziona con bitrate come 1,5, 3, 6 e 12 kbps e a 6 kbps raggiunge una qualità paragonabile a MP3 a 64 kbps. I suoi token alimentano MusicGen e AudioGen di Meta.
Approfondimento tecnico
Il codificatore di EnCodec esegue il downsampling della forma d'onda con convoluzioni a gradini in una sequenza latente, che RVQ converte in indici di codici in pila. Un leggero modello linguistico Transformer prevede le probabilità di questi token e li codifica aritmeticamente, recuperando gratuitamente ulteriore compressione. Il sistema di bilanciamento dell'addestramento ridimensiona i contributi del gradiente derivanti dalla ricostruzione, dalle perdite spettrali e del contraddittorio in modo che nessun singolo termine prevalga, mantenendo stabile l'addestramento multi-obiettivo nell'intero intervallo di bitrate.
Impatto strategico
Accedere e raggiungere
Migliora l'accessibilità attraverso la trascrizione, la narrazione e le interfacce vocali.
Costo e budget
I team media possono fornire audio raffinato più velocemente con budget inferiori.
Velocità e scala
I sistemi rivolti al cliente possono elaborare le interazioni parlate su scala più ampia.
Il futuro della compressione audio EnCodec
EnCodec è già il tokenizzatore predefinito per diversi modelli audio generativi aperti, e i suoi discendenti stanno spingendo una maggiore fedeltà a bitrate più bassi, una ricostruzione stereo completa e di livello musicale e una più stretta integrazione con i generatori di testo in audio e testo in musica. Aspettatevi un'adozione più ampia nelle comunicazioni a larghezza di banda ridotta, nello streaming in tempo reale e come livello "token audio" standard che consente ad grandi architetture in stile modello linguistico di leggere e scrivere il suono.
Implementazione nel mondo reale
Tokenizzazione dell'audio per i generatori di testo in audio MusicGen e AudioGen di Meta
Compressione della voce a 24 kHz a 1,5-6 kbps per trasmissione con larghezza di banda limitata
Codifica di musica stereo a 48 kHz con qualità vicina all'MP3 a bitrate molto più elevati
Funge da codec drop-in open source per pipeline di ricerca e ML audio tramite i checkpoint rilasciati
Rischi e guardrail
I rischi di uso improprio della voce e di impersonificazione aumentano quando manca il consenso.
La precisione può diminuire se si considerano accenti, dialetti o ambienti rumorosi.
L'audio sintetico può essere confuso con un parlato autentico senza un'etichettatura chiara.
Tabella di marcia per l'implementazione
Ottieni il consenso esplicito per l'acquisizione, la clonazione e il riutilizzo della voce.
Testare la qualità su diversi altoparlanti e condizioni di fondo.
Definire quando un essere umano deve rivedere o approvare gli output.
Etichettare l'audio sintetico e conservare i registri di provenienza per responsabilità.
Continua a esplorare
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the EnCodec Audio Compression quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Prossima guida
Incorporamenti audio e apprendimento della rappresentazione
Domande frequenti
What is EnCodec Audio Compression?
EnCodec è il codec audio neurale ad alta fedeltà di Meta che comprime parlato e musica a bitrate molto bassi con una qualità che rivaleggia con formati molto più pesanti. È importante perché è alla base dei moderni sistemi audio generativi e viene fornito in formato open source affinché chiunque possa utilizzarlo.
Quale organizzazione ha rilasciato EnCodec?
EnCodec è stato introdotto da Meta AI (FAIR) nel 2022 come codec audio neurale ad alta fedeltà.
Quale componente extra aggiunge EnCodec per spremere senza perdite una maggiore compressione dai suoi token?
EnCodec addestra un piccolo trasformatore per prevedere le probabilità dei token e codificarli aritmeticamente, ottenendo un'ulteriore compressione senza perdite oltre a RVQ.
A circa 6 kbps, la qualità di EnCodec è stata segnalata come paragonabile a MP3 a quale bitrate?
EnCodec a 6 kbps raggiunge una qualità soggettiva simile a MP3 a 64 kbps, un grande guadagno in termini di efficienza.
Quale problema risolve il "bilanciatore" di EnCodec durante l'allenamento?
Con molte perdite (ricostruzione, spettrale, contraddittorio), il bilanciatore ridimensiona i gradienti in modo che nessun singolo obiettivo domini, stabilizzando l'allenamento.
Quale metodo di quantizzazione principale condivide EnCodec con SoundStream?
Come SoundStream, EnCodec utilizza la quantizzazione vettoriale residua per discretizzare gli incorporamenti del codificatore negli indici dei codici in pila.