Audio AI ÚTMUTATÓ

EnCodec hangtömörítés

Az EnCodec a Meta nagy hűségű neurális audiokodekje, amely nagyon alacsony bitsebességgel tömöríti a beszédet és a zenét, a jóval nehezebb formátumokkal vetekedő minőséggel.

Hallgassa meg ezt az útmutatótAI-narrált · ~2 min

Ezen az oldalon2 perc olvasás
  1. Áttekintés
  2. Mély merülés
  3. Valós megvalósítás
  4. Az EnCodec hangtömörítés jövője
  5. A gyakorlatba ültetés
  6. Folytassa a felfedezést
  7. Gyakran ismételt kérdések

Áttekintés

Ez azért fontos, mert a modern generatív audiorendszerek alapját képezi, és nyílt forráskódú formában szállítja bárki számára.

Mély merülés

A Meta AI által 2022-ben kiadott EnCodec egy kódoló, egy maradékvektor-kvantáló (RVQ) és egy dekóder SoundStream tervét követi, végpontokig betanított, de számos finomítást ad hozzá. Adatfolyam-képes konvolúciós kódolót, többléptékű spektrogramot és időtartomány-rekonstrukciós veszteségeket, valamint ellenséges diszkriminátorokat használ az észlelési minőség érdekében. Figyelemre méltó hozzájárulás egy kis Transformer-alapú entrópiamodell, amely tovább tömöríti a kvantált kódokat veszteségmentesen, és extra biteket szorít ki belőle minőségromlás nélkül. Az EnCodec egy kiegyensúlyozót is bevezet, amely automatikusan skálázza a versengő edzési veszteségeket, így azok stabilak maradnak. Kezeli a 24 kHz-es monofonikus és 48 kHz-es sztereó hangot, 1,5, 3, 6 és 12 kbps bitsebességgel működik, és 6 kbps-on az MP3-hoz hasonló minőséget ér el 64 kbps-on. A tokenek a Meta MusicGen és AudioGen funkcióit hajtják végre.

Valós megvalósítás

Hang tokenizálása a Meta MusicGen és AudioGen szöveg-audio generátoraihoz

A 24 kHz-es beszéd tömörítése 1,5-6 kbps-ra a korlátozott sávszélességű átvitel érdekében

48 kHz-es sztereó zene kódolása MP3-hoz közeli minőséggel, sokkal nagyobb bitsebességgel

Nyílt forráskódú beugró kodekként szolgál kutatási és audio ML-folyamatokhoz a kiadott ellenőrzőpontokon keresztül

Az EnCodec hangtömörítés jövője

Az EnCodec már számos nyílt generatív hangmodell alapértelmezett tokenizátora, és leszármazottai a magasabb hűséget alacsonyabb bitrátákkal, a teljes sztereó- és zenei szintű rekonstrukciót, valamint a szöveg-audió és szöveg-zene generátorokkal való szorosabb integrációt igyekeznek elérni. Az alacsony sávszélességű kommunikációban, a valós idejű streamingben és a szabványos „audio token” rétegben szélesebb körű elterjedésre számíthat, amely lehetővé teszi a nagy nyelvi modell-stílusú architektúrák hangolvasását és írását.

A gyakorlatba ültetés

Miért számít

  • Hozzáférés és elérés. Javítja a hozzáférhetőséget az átírás, a narráció és a hangfelületek révén.
  • Költség és költségvetés. A médiacsapatok kisebb költségvetéssel gyorsabban szállíthatják a csiszolt hanganyagot.
  • Sebesség és méretarány. Az ügyfélközpontú rendszerek nagyobb léptékben képesek feldolgozni a beszélt interakciókat.

Vigyázz

  • A beleegyezés hiányában nő a hanggal való visszaélés és a megszemélyesítés kockázata.
  • A pontosság csökkenhet az akcentusok, dialektusok vagy zajos környezetben.
  • A szintetikus hang összetéveszthető a hiteles beszéddel egyértelmű címkézés nélkül.

Következő lépések

  1. Kérjen kifejezett hozzájárulást a hangrögzítéshez, klónozáshoz és újrafelhasználáshoz.
  2. Tesztelje a minőséget különféle hangszórókon és háttérviszonyok között.
  3. Határozza meg, mikor kell egy embernek felülvizsgálnia vagy jóváhagynia a kimeneteket.
  4. Címkézze fel a szintetikus hanganyagot, és vezessen származási nyilvántartást az elszámoltathatóság érdekében.

Folytassa a felfedezést

Ingyenes hírlevél

Szerezze meg a napi AI összefoglalót

Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.

Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.

Teszteld magad

Take the EnCodec Audio Compression quiz

Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.

Kezdő kvíz

Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt

Gyakran ismételt kérdések

Mi az EnCodec hangtömörítés?

Az EnCodec a Meta nagy hűségű neurális audiokodekje, amely nagyon alacsony bitsebességgel tömöríti a beszédet és a zenét, a jóval nehezebb formátumokkal vetekedő minőséggel. Ez azért fontos, mert a modern generatív audiorendszerek alapját képezi, és nyílt forráskódú formában szállítja bárki számára.

Melyik szervezet adta ki az EnCodecet?

Az EnCodec-et az Meta AI (FAIR) vezette be 2022-ben, mint nagy pontosságú neurális audiokodeket.

Milyen extra komponenst ad hozzá az EnCodec, hogy veszteségmentesen szorítsa ki több tömörítést a tokenekből?

Az EnCodec betanít egy kis transzformátort a token valószínűségek előrejelzésére és aritmetikai kódolására, így további veszteségmentes tömörítést ér el az RVQ tetején.

Körülbelül 6 kb/s-nál az EnCodec minősége az MP3-éhoz hasonlítható, körülbelül milyen bitsebességgel?

A 6 kbps-os EnCodec szubjektív minőséget ér el, amely hasonló a 64 kbps-os MP3-hoz, ami nagy hatékonyságnövekedést jelent.

Milyen problémát old meg az EnCodec „kiegyenlítője” edzés közben?

Sok veszteség (rekonstrukció, spektrális, ellenséges) miatt a kiegyenlítő átskálázza a gradienseiket, így egyetlen cél sem dominál, stabilizálja a képzést.

Melyik alapvető kvantálási módszert osztja meg az EnCodec a SoundStreammel?

A SoundStreamhez hasonlóan az EnCodec is maradék vektorkvantálást használ a kódoló beágyazásainak halmozott kódkönyvi indexekbe történő diszkretizálására.