Zvukový průvodce AI

Komprese zvuku EnCodec

EnCodec je vysoce věrný neurální zvukový kodek Meta společnosti Meta, který komprimuje řeč a hudbu při velmi nízkém datovém toku s kvalitou konkurující mnohem těžším formátům.

Poslechněte si tento návodAI-vyprávěný · ~2 min

Na této stránce2 minuty čtení
  1. Přehled
  2. Hluboký ponor
  3. Real-World Implementace
  4. Budoucnost komprese zvuku EnCodec
  5. Uvedení do praxe
  6. Pokračujte v objevování
  7. Často kladené otázky

Přehled

It matters because it underpins modern generative audio systems and ships in open-source form for anyone to use.

Hluboký ponor

EnCodec, vydaný Meta AI v roce 2022, se řídí plánem SoundStream kodéru, kvantizéru zbytkového vektoru (RVQ) a dekodéru trénovaného od začátku do konce, ale přidává několik vylepšení. Využívá konvoluční kodér schopný streamování, víceúrovňový spektrogram a ztráty při rekonstrukci v časové doméně a diskriminátory pro vnímání kvality. Pozoruhodným příspěvkem je malý entropický model založený na transformátoru, který dále bezeztrátově komprimuje kvantované kódy a vytlačuje extra bity bez ztráty kvality. EnCodec také představuje balancer, který automaticky škáluje mnoho konkurenčních tréninkových ztrát, aby zůstaly stabilní. Zvládá 24 kHz monofonní a 48 kHz stereo zvuk, pracuje napříč datovými toky jako 1,5, 3, 6 a 12 kbps a při 6 kbps dosahuje kvality srovnatelné s MP3 při 64 kbps. Jeho tokeny podporují MusicGen a AudioGen Meta.

Real-World Implementace

Tokenizace zvuku pro generátory textu na zvuk MusicGen a AudioGen Meta

Komprese 24 kHz řeči na 1,5-6 kbps pro přenos s omezenou šířkou pásma

Kódování 48 kHz stereo hudby s kvalitou blízkou MP3 při mnohem vyšších přenosových rychlostech

Slouží jako open source drop-in kodek pro výzkum a audio ML kanály prostřednictvím uvolněných kontrolních bodů

Budoucnost komprese zvuku EnCodec

EnCodec je již výchozím tokenizérem pro několik otevřených generativních audio modelů a jeho potomci prosazují vyšší věrnost při nižších přenosových rychlostech, plnou rekonstrukci sterea a hudební úrovně a těsnější integraci s generátory převodu textu na zvuk a textu na hudbu. Očekávejte širší přijetí v komunikaci s nízkou šířkou pásma, streamování v reálném čase a jako standardní vrstvu „audio tokenu“, která umožňuje velkým architekturám ve stylu jazykového modelu číst a zapisovat zvuk.

Uvedení do praxe

Proč na tom záleží

  • Přístup a dosah. Zlepšuje dostupnost prostřednictvím přepisu, vyprávění a hlasových rozhraní.
  • Cena a rozpočet. Mediální týmy mohou dodávat vylepšený zvuk rychleji s menšími rozpočty.
  • Rychlost a měřítko. Systémy orientované na zákazníky mohou zpracovávat mluvené interakce ve větším měřítku.

Pozor na

  • Pokud chybí souhlas, zvyšuje se riziko zneužití hlasu a předstírání jiné identity.
  • Přesnost může klesat v přízvuku, dialektech nebo hlučném prostředí.
  • Syntetický zvuk lze bez jasného označení zaměnit za autentickou řeč.

Další kroky

  1. Získejte výslovný souhlas se zachycením hlasu, klonováním a opětovným použitím.
  2. Otestujte kvalitu napříč různými reproduktory a podmínkami pozadí.
  3. Definujte, kdy musí člověk zkontrolovat nebo schválit výstupy.
  4. Označte syntetický zvuk a veďte záznamy o původu pro zajištění odpovědnosti.

Pokračujte v objevování

Newsletter zdarma

Získejte denní přehled o AI

Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.

Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.

Otestujte se

Take the EnCodec Audio Compression quiz

Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.

Spustit kvíz

Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte

Často kladené otázky

What is EnCodec Audio Compression?

EnCodec je vysoce věrný neurální zvukový kodek Meta společnosti Meta, který komprimuje řeč a hudbu při velmi nízkém datovém toku s kvalitou konkurující mnohem těžším formátům. Záleží na tom, protože je základem moderních generativních audio systémů a dodává se ve formě open source, kterou může používat kdokoli.

Která organizace vydala EnCodec?

EnCodec byl představen Meta AI (FAIR) v roce 2022 jako vysoce věrný neurální zvukový kodek.

Jakou další komponentu přidává EnCodec, aby bezeztrátově vytlačil více komprese ze svých tokenů?

EnCodec trénuje malý Transformer, aby předpovídal pravděpodobnosti tokenů a aritmeticky je kóduje, čímž dosahuje dodatečné bezztrátové komprese nad rámec RVQ.

Při zhruba 6 kbps byla kvalita EnCodecu hlášena jako srovnatelná s MP3 při přibližně jakém datovém toku?

EnCodec při 6 kbps dosahuje subjektivní kvality podobné MP3 při 64 kbps, což je velký nárůst efektivity.

Jaký problém řeší „balancer“ EnCodec během tréninku?

S mnoha ztrátami (rekonstrukce, spektrální, adversariální), balancer přeškáluje jejich gradienty, takže žádný jediný cíl nedominuje, stabilizuje trénink.

Jakou základní kvantizační metodu sdílí EnCodec se SoundStreamem?

Stejně jako SoundStream, EnCodec používá zbytkovou vektorovou kvantizaci k diskretizaci vložení kodéru do indexů skládaných číselníků.