GUIDA AI audio

Compressione audio EnCodec

EnCodec è il codec audio neurale ad alta fedeltà di Meta che comprime parlato e musica a bitrate molto bassi con una qualità che rivaleggia con formati molto più pesanti.

Ascolta questa guidaNarrato dall'IA · ~2 min

In questa pagina2 minuti di lettura
  1. Panoramica
  2. Immersione profonda
  3. Implementazione nel mondo reale
  4. Il futuro della compressione audio EnCodec
  5. Metterlo in pratica
  6. Continua a esplorare
  7. Domande frequenti

Panoramica

È importante perché è alla base dei moderni sistemi audio generativi e viene fornito in formato open source affinché chiunque possa utilizzarlo.

Immersione profonda

Rilasciato da Meta AI nel 2022, EnCodec segue il progetto SoundStream di un codificatore, un quantizzatore vettoriale residuo (RVQ) e un decodificatore addestrato end-to-end, ma aggiunge diversi perfezionamenti. Utilizza un codificatore convoluzionale con capacità di streaming, uno spettrogramma multiscala, perdite di ricostruzione nel dominio del tempo e discriminatori contraddittori per la qualità percettiva. Un contributo notevole è un piccolo modello entropico basato su Transformer che comprime ulteriormente i codici quantizzati senza perdite, spremendo bit extra senza perdita di qualità. EnCodec introduce anche un bilanciatore che ridimensiona automaticamente le numerose perdite di allenamento concorrenti in modo che rimangano stabili. Gestisce audio monofonico a 24 kHz e stereo a 48 kHz, funziona con bitrate come 1,5, 3, 6 e 12 kbps e a 6 kbps raggiunge una qualità paragonabile a MP3 a 64 kbps. I suoi token alimentano MusicGen e AudioGen di Meta.

Implementazione nel mondo reale

Tokenizzazione dell'audio per i generatori di testo in audio MusicGen e AudioGen di Meta

Compressione della voce a 24 kHz a 1,5-6 kbps per trasmissione con larghezza di banda limitata

Codifica di musica stereo a 48 kHz con qualità vicina all'MP3 a bitrate molto più elevati

Funge da codec drop-in open source per pipeline di ricerca e ML audio tramite i checkpoint rilasciati

Il futuro della compressione audio EnCodec

EnCodec è già il tokenizzatore predefinito per diversi modelli audio generativi aperti, e i suoi discendenti stanno spingendo una maggiore fedeltà a bitrate più bassi, una ricostruzione stereo completa e di livello musicale e una più stretta integrazione con i generatori di testo in audio e testo in musica. Aspettatevi un'adozione più ampia nelle comunicazioni a larghezza di banda ridotta, nello streaming in tempo reale e come livello "token audio" standard che consente ad grandi architetture in stile modello linguistico di leggere e scrivere il suono.

Metterlo in pratica

Perché è importante

  • Accedere e raggiungere. Migliora l'accessibilità attraverso la trascrizione, la narrazione e le interfacce vocali.
  • Costo e budget. I team media possono fornire audio raffinato più velocemente con budget inferiori.
  • Velocità e scala. I sistemi rivolti al cliente possono elaborare le interazioni parlate su scala più ampia.

Attenzione

  • I rischi di uso improprio della voce e di impersonificazione aumentano quando manca il consenso.
  • La precisione può diminuire se si considerano accenti, dialetti o ambienti rumorosi.
  • L'audio sintetico può essere confuso con un parlato autentico senza un'etichettatura chiara.

Prossimi passi

  1. Ottieni il consenso esplicito per l'acquisizione, la clonazione e il riutilizzo della voce.
  2. Testare la qualità su diversi altoparlanti e condizioni di fondo.
  3. Definire quando un essere umano deve rivedere o approvare gli output.
  4. Etichettare l'audio sintetico e conservare i registri di provenienza per responsabilità.

Continua a esplorare

Newsletter gratuita

Ricevi il briefing quotidiano sull'IA

Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.

Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.

Mettiti alla prova

Take the EnCodec Audio Compression quiz

Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.

Inizia il quiz

Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione

Domande frequenti

Cos'è la compressione audio EnCodec?

EnCodec è il codec audio neurale ad alta fedeltà di Meta che comprime parlato e musica a bitrate molto bassi con una qualità che rivaleggia con formati molto più pesanti. È importante perché è alla base dei moderni sistemi audio generativi e viene fornito in formato open source affinché chiunque possa utilizzarlo.

Quale organizzazione ha rilasciato EnCodec?

EnCodec è stato introdotto da Meta AI (FAIR) nel 2022 come codec audio neurale ad alta fedeltà.

Quale componente extra aggiunge EnCodec per spremere senza perdite una maggiore compressione dai suoi token?

EnCodec addestra un piccolo trasformatore per prevedere le probabilità dei token e codificarli aritmeticamente, ottenendo un'ulteriore compressione senza perdite oltre a RVQ.

A circa 6 kbps, la qualità di EnCodec è stata segnalata come paragonabile a MP3 a quale bitrate?

EnCodec a 6 kbps raggiunge una qualità soggettiva simile a MP3 a 64 kbps, un grande guadagno in termini di efficienza.

Quale problema risolve il "bilanciatore" di EnCodec durante l'allenamento?

Con molte perdite (ricostruzione, spettrale, contraddittorio), il bilanciatore ridimensiona i gradienti in modo che nessun singolo obiettivo domini, stabilizzando l'allenamento.

Quale metodo di quantizzazione principale condivide EnCodec con SoundStream?

Come SoundStream, EnCodec utilizza la quantizzazione vettoriale residua per discretizzare gli incorporamenti del codificatore negli indici dei codici in pila.