Mai departeUrmătorul ghid
Încorporarea audio și învățarea reprezentării
AI audio
GHID audio AI
Compresie audio EnCodec
EnCodec este codecul audio neuronal de înaltă fidelitate al Meta care comprimă vorbirea și muzica la rate de biți foarte scăzute, cu o calitate care rivalizează cu formate mult mai grele.
Ascultă acest ghidNarativ AI · ~2 min
Pe această pagină2 minute de lectură
Prezentare generală
Contează pentru că stă la baza sistemelor audio generative moderne și este livrat în formă open-source pentru ca oricine să le poată utiliza.
Scufundare în profunzime
Lansat de Meta AI în 2022, EnCodec urmează modelul SoundStream al unui codificator, un cuantificator vectorial rezidual (RVQ) și un decodor antrenat cap la cap, dar adaugă mai multe perfecționări. Utilizează un codificator convoluțional capabil de transmitere în flux, pierderi de spectrogramă multi-scale și reconstrucție în domeniul timpului și discriminatori adversi pentru calitatea perceptivă. O contribuție notabilă este un mic model de entropie bazat pe transformator care comprimă în continuare codurile cuantificate fără pierderi, stoarce biți suplimentari fără pierderi de calitate. EnCodec introduce, de asemenea, un echilibrator care scalează automat numeroasele pierderi de antrenament concurente, astfel încât acestea să rămână stabile. Se ocupă de audio monofonic de 24 kHz și stereo de 48 kHz, funcționează cu rate de biți precum 1,5, 3, 6 și 12 kbps, iar la 6 kbps atinge o calitate comparabilă cu MP3 la 64 kbps. Tokenurile sale alimentează MusicGen și AudioGen de la Meta.
Implementare în lumea reală
Tokenizare audio pentru generatoarele de text în audio MusicGen și AudioGen de la Meta
Comprimarea vorbirii de 24 kHz la 1,5-6 kbps pentru transmisie cu lățime de bandă limitată
Codificarea muzicii stereo de 48 kHz cu o calitate aproape de MP3 la rate de biți mult mai mari
Servește ca codec cu sursă deschisă pentru cercetare și conducte ML audio prin punctele de control lansate
Viitorul compresiei audio EnCodec
EnCodec este deja tokenizerul implicit pentru mai multe modele audio generative deschise, iar descendenții săi promovează o fidelitate mai mare la rate de biți mai mici, reconstrucție stereo completă și de calitate muzicală și o integrare mai strânsă cu generatoarele text-to-audio și text-to-muzică. Așteptați-vă la o adoptare mai largă în comunicațiile cu lățime de bandă redusă, streaming în timp real și ca strat standard de „token audio”, care permite arhitecturii mari în stil model de limbă să citească și să scrie sunet.
Punând-o în practică
De ce contează
- Acces și acoperire. Îmbunătățește accesibilitatea prin transcriere, narațiune și interfețe vocale.
- Cost și buget. Echipele media pot livra audio mai rapid cu bugete mai mici.
- Viteză și scară. Sistemele orientate către clienți pot procesa interacțiunile vorbite la scară mai mare.
Atenție la
- Riscurile de utilizare greșită a vocii și uzurpare a identității cresc atunci când lipsește consimțământul.
- Precizia poate scădea în accente, dialecte sau medii zgomotoase.
- Audio sintetic poate fi confundat cu vorbire autentică fără etichetare clară.
Următorii pași
- Obțineți consimțământul explicit pentru captarea, clonarea și reutilizarea vocii.
- Testați calitatea pe diverse difuzoare și condiții de fundal.
- Definiți când un om trebuie să revizuiască sau să aprobe rezultatele.
- Etichetați sunetul sintetic și păstrați înregistrări de proveniență pentru responsabilitate.
Continuați să explorați
Buletin gratuit
Primește briefingul zilnic AI
Trei povești AI verificate în fiecare dimineață de zi lucrătoare, scrise în engleză simplă. Gratuit pentru totdeauna, fără reclame.
Un e-mail în fiecare zi lucrătoare. Dezabonare cu un singur clic. Nu vindem niciodată și nu împărtășim adresa ta.
Testează-te
Take the EnCodec Audio Compression quiz
Feedback instantaneu la fiecare răspuns și un certificat partajabil cu un ID verificabil după ce parcurgi un curs.
Susține educația AI gratuită. AI Understanding este o organizație nonprofit 501(c)(3) — fără reclame, fără barieră de plată, pentru totdeauna. Fă o donație
Întrebări frecvente
Ce este compresia audio EnCodec?
EnCodec este codecul audio neuronal de înaltă fidelitate al Meta care comprimă vorbirea și muzica la rate de biți foarte scăzute, cu o calitate care rivalizează cu formate mult mai grele. Contează pentru că stă la baza sistemelor audio generative moderne și este livrat în formă open-source pentru ca oricine să le poată utiliza.
Ce organizație a lansat EnCodec?
EnCodec a fost introdus de Meta AI (FAIR) în 2022 ca un codec audio neuronal de înaltă fidelitate.
Ce componentă suplimentară adaugă EnCodec pentru a stoarce fără pierderi mai multă compresie din jetoanele sale?
EnCodec antrenează un mic Transformator pentru a prezice probabilitățile de simbol și le codifică aritmetic, realizând o compresie suplimentară fără pierderi pe deasupra RVQ.
La aproximativ 6 kbps, calitatea EnCodec a fost raportată ca fiind comparabilă cu MP3 la aproximativ ce bitrate?
EnCodec la 6 kbps atinge o calitate subiectivă similară cu MP3 la 64 kbps, un câștig mare de eficiență.
Ce problemă rezolvă „echilibratorul” EnCodec în timpul antrenamentului?
Cu multe pierderi (reconstrucție, spectrale, adversarie), echilibrerul își redimensionează gradienții, astfel încât niciun obiectiv să nu domine, stabilizând antrenamentul.
Ce metodă de cuantificare de bază împărtășește EnCodec cu SoundStream?
La fel ca SoundStream, EnCodec folosește cuantizarea vectorială reziduală pentru a discretiza încorporarea codificatoarelor în indici de coduri stivuite.
Continuați să învățați
Ghiduri conexe
Mai multe ghiduri alese pentru acest subiect