DalšíDalší průvodce
Vkládání zvuku a učení reprezentace
Zvuková AI
Zvukový průvodce AI
EnCodec je vysoce věrný neurální zvukový kodek Meta společnosti Meta, který komprimuje řeč a hudbu při velmi nízkém datovém toku s kvalitou konkurující mnohem těžším formátům.
Poslechněte si tento návodAI-vyprávěný · ~2 min
It matters because it underpins modern generative audio systems and ships in open-source form for anyone to use.
EnCodec, vydaný Meta AI v roce 2022, se řídí plánem SoundStream kodéru, kvantizéru zbytkového vektoru (RVQ) a dekodéru trénovaného od začátku do konce, ale přidává několik vylepšení. Využívá konvoluční kodér schopný streamování, víceúrovňový spektrogram a ztráty při rekonstrukci v časové doméně a diskriminátory pro vnímání kvality. Pozoruhodným příspěvkem je malý entropický model založený na transformátoru, který dále bezeztrátově komprimuje kvantované kódy a vytlačuje extra bity bez ztráty kvality. EnCodec také představuje balancer, který automaticky škáluje mnoho konkurenčních tréninkových ztrát, aby zůstaly stabilní. Zvládá 24 kHz monofonní a 48 kHz stereo zvuk, pracuje napříč datovými toky jako 1,5, 3, 6 a 12 kbps a při 6 kbps dosahuje kvality srovnatelné s MP3 při 64 kbps. Jeho tokeny podporují MusicGen a AudioGen Meta.
Tokenizace zvuku pro generátory textu na zvuk MusicGen a AudioGen Meta
Komprese 24 kHz řeči na 1,5-6 kbps pro přenos s omezenou šířkou pásma
Kódování 48 kHz stereo hudby s kvalitou blízkou MP3 při mnohem vyšších přenosových rychlostech
Slouží jako open source drop-in kodek pro výzkum a audio ML kanály prostřednictvím uvolněných kontrolních bodů
EnCodec je již výchozím tokenizérem pro několik otevřených generativních audio modelů a jeho potomci prosazují vyšší věrnost při nižších přenosových rychlostech, plnou rekonstrukci sterea a hudební úrovně a těsnější integraci s generátory převodu textu na zvuk a textu na hudbu. Očekávejte širší přijetí v komunikaci s nízkou šířkou pásma, streamování v reálném čase a jako standardní vrstvu „audio tokenu“, která umožňuje velkým architekturám ve stylu jazykového modelu číst a zapisovat zvuk.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
EnCodec je vysoce věrný neurální zvukový kodek Meta společnosti Meta, který komprimuje řeč a hudbu při velmi nízkém datovém toku s kvalitou konkurující mnohem těžším formátům. Záleží na tom, protože je základem moderních generativních audio systémů a dodává se ve formě open source, kterou může používat kdokoli.
EnCodec byl představen Meta AI (FAIR) v roce 2022 jako vysoce věrný neurální zvukový kodek.
EnCodec trénuje malý Transformer, aby předpovídal pravděpodobnosti tokenů a aritmeticky je kóduje, čímž dosahuje dodatečné bezztrátové komprese nad rámec RVQ.
EnCodec při 6 kbps dosahuje subjektivní kvality podobné MP3 při 64 kbps, což je velký nárůst efektivity.
S mnoha ztrátami (rekonstrukce, spektrální, adversariální), balancer přeškáluje jejich gradienty, takže žádný jediný cíl nedominuje, stabilizuje trénink.
Stejně jako SoundStream, EnCodec používá zbytkovou vektorovou kvantizaci k diskretizaci vložení kodéru do indexů skládaných číselníků.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Vkládání zvuku a učení reprezentace
Zvuková AI