EnCodec lydkomprimering
EnCodec er Metas high-fidelity nevrale lydkodek som komprimerer tale og musikk med svært lave bithastigheter med kvalitet som konkurrerer med langt tyngre formater.
Oversikt
It matters because it underpins modern generative audio systems and ships in open-source form for anyone to use.
Dypdykk
EnCodec ble utgitt av Meta AI i 2022, og følger SoundStream-planen til en koder, en restvektorkvantisering (RVQ) og en dekodertrent ende til ende, men legger til flere forbedringer. Den bruker en streaming-kompatibel konvolusjonskoder, multi-skala spektrogram og tidsdomene rekonstruksjonstap, og motstridende diskriminatorer for perseptuell kvalitet. Et bemerkelsesverdig bidrag er en liten transformatorbasert entropimodell som ytterligere komprimerer de kvantiserte kodene tapsfritt, og klemmer ut ekstra biter uten kvalitetstap. EnCodec introduserer også en balanser som automatisk skalerer de mange konkurrerende treningstapene slik at de holder seg stabile. Den håndterer 24 kHz monofonisk og 48 kHz stereolyd, opererer på tvers av bithastigheter som 1,5, 3, 6 og 12 kbps, og med 6 kbps når en kvalitet som kan sammenlignes med MP3 ved 64 kbps. Dens tokens driver Metas MusicGen og AudioGen.
Teknisk innsikt
EnCodecs koder nedsampler bølgeformen med skrittsvingninger til en latent sekvens, som RVQ konverterer til stablede kodebokindekser. En lett Transformer-språkmodell forutsier disse tokens sannsynligheter og aritmetikkkoder dem, og gjenoppretter ytterligere komprimering gratis. Treningsbalanseren omskalerer gradientbidrag fra rekonstruksjon, spektrale og motstridende tap, slik at ingen enkelt term dominerer, noe som holder multi-objektiv trening stabil over hele bithastighetsområdet.
Strategisk innvirkning
Access and reach
Det forbedrer tilgjengeligheten gjennom transkripsjon, fortellerstemme og stemmegrensesnitt.
Cost and budget
Medieteam kan sende polert lyd raskere med mindre budsjetter.
Speed and scale
Kundevendte systemer kan behandle talte interaksjoner i større skala.
Fremtiden til EnCodec-lydkomprimering
EnCodec er allerede standard tokenizer for flere åpne generative lydmodeller, og dens etterkommere presser høyere fidelity ved lavere bithastigheter, full stereo og musikk-grade rekonstruksjon, og tettere integrasjon med tekst-til-lyd og tekst-til-musikk-generatorer. Forvent bredere bruk i kommunikasjon med lav båndbredde, sanntidsstrømming og som standard "lydtoken"-lag som lar store arkitekturer i språkmodellstil lese og skrive lyd.
Real-World Implementering
Tokenisering av lyd for Metas MusicGen og AudioGen tekst-til-lyd-generatorer
Komprimering av 24 kHz tale til 1,5–6 kbps for båndbreddebegrenset overføring
Koding 48 kHz stereomusikk med kvalitet nær MP3 med mye høyere bithastigheter
Fungerer som en drop-in-kodek med åpen kildekode for forskning og lyd ML-pipelines via de utgitte sjekkpunktene
Risikoer og rekkverk
Risikoen for stemmemisbruk og etterligning øker når samtykke mangler.
Nøyaktigheten kan falle på tvers av aksenter, dialekter eller støyende omgivelser.
Syntetisk lyd kan forveksles med autentisk tale uten tydelig merking.
Veikart for implementering
Innhent eksplisitt samtykke for stemmefangst, kloning og gjenbruk.
Test kvalitet på tvers av forskjellige høyttalere og bakgrunnsforhold.
Definer når et menneske må gjennomgå eller godkjenne utdata.
Merk syntetisk lyd og oppbevar herkomstregistreringer for ansvarlighet.
Fortsett å utforske
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the EnCodec Audio Compression quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Neste guide
Lydinnbygging og representasjonslæring
Ofte stilte spørsmål
What is EnCodec Audio Compression?
EnCodec er Metas high-fidelity nevrale lydkodek som komprimerer tale og musikk med svært lave bithastigheter med kvalitet som konkurrerer med langt tyngre formater. Det betyr noe fordi det understøtter moderne generative lydsystemer og leveres i åpen kildekode-form for alle å bruke.
Hvilken organisasjon ga ut EnCodec?
EnCodec ble introdusert av Meta AI (FAIR) i 2022 som en high-fidelity nevral lydkodek.
Hvilken ekstra komponent legger EnCodec til for tapsfritt å presse mer komprimering fra sine tokens?
EnCodec trener en liten transformator til å forutsi token-sannsynligheter og aritmetikkkoder dem, og oppnår ytterligere tapsfri komprimering på toppen av RVQ.
Ved omtrent 6 kbps ble EnCodecs kvalitet rapportert som sammenlignbar med MP3 med omtrent hvilken bithastighet?
EnCodec ved 6 kbps når subjektiv kvalitet som ligner på MP3 ved 64 kbps, en stor effektivitetsgevinst.
Hvilket problem løser EnCodecs 'balanser' under trening?
Med mange tap (rekonstruksjon, spektral, motstridende), skalerer balanseren deres gradienter slik at ingen enkelt mål dominerer, og stabiliserer treningen.
Hvilken kjernekvantiseringsmetode deler EnCodec med SoundStream?
I likhet med SoundStream, bruker EnCodec restvektorkvantisering for å diskretisere koderinnbygginger i stablede kodebokindekser.