LegközelebbKövetkező útmutató
Hangbeágyazások és reprezentációs tanulás
Hangalapú AI
Audio AI ÚTMUTATÓ
Az EnCodec a Meta nagy hűségű neurális audiokodekje, amely nagyon alacsony bitsebességgel tömöríti a beszédet és a zenét, a jóval nehezebb formátumokkal vetekedő minőséggel.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
Ez azért fontos, mert a modern generatív audiorendszerek alapját képezi, és nyílt forráskódú formában szállítja bárki számára.
A Meta AI által 2022-ben kiadott EnCodec egy kódoló, egy maradékvektor-kvantáló (RVQ) és egy dekóder SoundStream tervét követi, végpontokig betanított, de számos finomítást ad hozzá. Adatfolyam-képes konvolúciós kódolót, többléptékű spektrogramot és időtartomány-rekonstrukciós veszteségeket, valamint ellenséges diszkriminátorokat használ az észlelési minőség érdekében. Figyelemre méltó hozzájárulás egy kis Transformer-alapú entrópiamodell, amely tovább tömöríti a kvantált kódokat veszteségmentesen, és extra biteket szorít ki belőle minőségromlás nélkül. Az EnCodec egy kiegyensúlyozót is bevezet, amely automatikusan skálázza a versengő edzési veszteségeket, így azok stabilak maradnak. Kezeli a 24 kHz-es monofonikus és 48 kHz-es sztereó hangot, 1,5, 3, 6 és 12 kbps bitsebességgel működik, és 6 kbps-on az MP3-hoz hasonló minőséget ér el 64 kbps-on. A tokenek a Meta MusicGen és AudioGen funkcióit hajtják végre.
Hang tokenizálása a Meta MusicGen és AudioGen szöveg-audio generátoraihoz
A 24 kHz-es beszéd tömörítése 1,5-6 kbps-ra a korlátozott sávszélességű átvitel érdekében
48 kHz-es sztereó zene kódolása MP3-hoz közeli minőséggel, sokkal nagyobb bitsebességgel
Nyílt forráskódú beugró kodekként szolgál kutatási és audio ML-folyamatokhoz a kiadott ellenőrzőpontokon keresztül
Az EnCodec már számos nyílt generatív hangmodell alapértelmezett tokenizátora, és leszármazottai a magasabb hűséget alacsonyabb bitrátákkal, a teljes sztereó- és zenei szintű rekonstrukciót, valamint a szöveg-audió és szöveg-zene generátorokkal való szorosabb integrációt igyekeznek elérni. Az alacsony sávszélességű kommunikációban, a valós idejű streamingben és a szabványos „audio token” rétegben szélesebb körű elterjedésre számíthat, amely lehetővé teszi a nagy nyelvi modell-stílusú architektúrák hangolvasását és írását.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
Az EnCodec a Meta nagy hűségű neurális audiokodekje, amely nagyon alacsony bitsebességgel tömöríti a beszédet és a zenét, a jóval nehezebb formátumokkal vetekedő minőséggel. Ez azért fontos, mert a modern generatív audiorendszerek alapját képezi, és nyílt forráskódú formában szállítja bárki számára.
Az EnCodec-et az Meta AI (FAIR) vezette be 2022-ben, mint nagy pontosságú neurális audiokodeket.
Az EnCodec betanít egy kis transzformátort a token valószínűségek előrejelzésére és aritmetikai kódolására, így további veszteségmentes tömörítést ér el az RVQ tetején.
A 6 kbps-os EnCodec szubjektív minőséget ér el, amely hasonló a 64 kbps-os MP3-hoz, ami nagy hatékonyságnövekedést jelent.
Sok veszteség (rekonstrukció, spektrális, ellenséges) miatt a kiegyenlítő átskálázza a gradienseiket, így egyetlen cél sem dominál, stabilizálja a képzést.
A SoundStreamhez hasonlóan az EnCodec is maradék vektorkvantálást használ a kódoló beágyazásainak halmozott kódkönyvi indexekbe történő diszkretizálására.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Hangbeágyazások és reprezentációs tanulás
Hangalapú AI