DalšíDalší průvodce
Vložení reproduktorů X-Vector
Zvuková AI
Zvukový průvodce AI
Kvantování zbytkového vektoru (RVQ) je technika, která přeměňuje kontinuální vkládání zvuku na kompaktní zásobník diskrétních kódů opakovaným kvantováním zbývající chyby.
Poslechněte si tento návodAI-vyprávěný · ~2 min
Je to důležité, protože je to motor moderních neuronových kodeků, jako je SoundStream a EnCodec, a tokenizér pro generativní zvuk.
Kvantování prostého vektoru (VQ) nahrazuje spojitý vektor nejbližší položkou v naučeném číselníku, ale jeden dostatečně jemný číselník pro vysokou kvalitu by potřeboval astronomicky velký počet záznamů. RVQ to řeší kaskádováním několika menších číselníků. První číselník vytváří hrubou aproximaci; odečtete ji, abyste získali zbytkovou chybu, kvantujte tento zbytek pomocí druhého číselníku, znovu odečtěte a pokračujte pro N fází. Konečným kódem je seznam vybraných indexů napříč všemi fázemi a rekonstrukce je součtem všech vybraných vektorů kódové knihy. To rozdělí obrovskou efektivní kódovou knihu na mnoho malých, dramaticky omezí paměť a výpočet a nechá škálovat bitovou rychlost jednoduše použitím více nebo méně fází. Výpadek kvantizátoru během trénování způsobuje, že rané kódové knihy nesou nejvíce informací, což umožňuje plynulou degradaci kvality.
Diskretizace vložení kodéru uvnitř neurálních kodeků SoundStream, EnCodec a DAC
Produkce vrstvených zvukových tokenů, které AudioLM a MusicLM generují
Zvýšení nebo snížení přenosové rychlosti kodeku aktivací více nebo méně kvantizerových stupňů
Komprese vysokorozměrných vložení do vyhledávacích a úložných systémů pomocí skládaných číselníků
RVQ se stalo standardní diskretizační vrstvou spojující kontinuální neurální reprezentace s generativními modely založenými na tokenech a zdokonalování pokračují: lepší využití kódové knihy, aby se zabránilo „mrtvým“ záznamům, faktorizované a nízkorozměrné kódové knihy a sémanticky smysluplné hierarchie tokenů. Kromě zvuku se stejná myšlenka skládání zbytků šíří i do tokenizérů obrázků a videa a staví RVQ jako obecný most mezi kontinuálními kodéry a generátory sekvencí ve stylu jazykového modelu.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Kvantování zbytkového vektoru (RVQ) je technika, která přeměňuje kontinuální vkládání zvuku na kompaktní zásobník diskrétních kódů opakovaným kvantováním zbývající chyby. Záleží na tom, protože je to motor moderních neuronových kodeků, jako je SoundStream a EnCodec, a tokenizér pro generativní zvuk.
Poté, co první kódová kniha poskytne hrubý odhad, RVQ jej odečte a kvantuje zbývající zbytek s dalším kódovým seznamem, přičemž se to opakuje napříč fázemi.
Jediný dostatečně jemný kódový seznam pro vysokou kvalitu by byl neprakticky velký; skládání M číselníků s K záznamem poskytuje K^M kombinace s mnohem menším úložištěm.
Rekonstrukce je součtem vybraných vektorů kódové knihy ve všech fázích, přičemž každá opravuje zbytek předchozích.
Výběr jednoho z K záznamů v každém z M nezávislých stupňů poskytuje K^M možných kombinací, přičemž se uloží pouze M*K vektorů.
Ztráta závazku penalizuje kodér, když se jeho výstupy odchylují od vybraných vektorů kódové knihy, čímž je kvantizace stabilní; samotné kódové knihy se často aktualizují prostřednictvím exponenciálního klouzavého průměru.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Vložení reproduktorů X-Vector
Zvuková AI