LegközelebbKövetkező útmutató
X-Vector hangszóró beágyazások
Hangalapú AI
Audio AI ÚTMUTATÓ
A maradékvektor-kvantálás (RVQ) az a technika, amely a folyamatos hangbeágyazásokat diszkrét kódok kompakt kötegévé alakítja a maradék hiba ismételt kvantálásával.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
Ez azért fontos, mert ez a motor a modern neurális kodekek, például a SoundStream és az EnCodec mögött, és a generatív hang tokenizátora.
A sima vektorkvantálás (VQ) a folytonos vektort a tanult kódkönyv legközelebbi bejegyzésére cseréli, de egy olyan kódkönyvhöz, amely elég finom a jó minőséghez, csillagászatilag nagy számú bejegyzésre lenne szükség. Az RVQ ezt több kisebb kódkönyv lépcsőzetessé tételével oldja meg. Az első kódkönyv durva közelítést ad; kivonod, hogy maradék hibát kapj, ezt a maradékot kvantálod egy második kódkönyvvel, újra kivonod, és folytatod N szakaszig. A végső kód az összes szakaszban kiválasztott indexek listája, a rekonstrukció pedig az összes kiválasztott kódkönyvvektor összege. Ez egy hatalmas, hatékony kódkönyvet sok kicsire oszt, drámaian lecsökkentve a memóriát és a számítási feladatokat, miközben lehetővé teszi a bitráta-skálázást egyszerűen több vagy kevesebb fokozat használatával. A kvantáló edzés közbeni lemorzsolódása miatt a korai kódkönyvek hordozzák a legtöbb információt, lehetővé téve a minőség kecses romlását.
Diszkretizáló kódoló beágyazások SoundStream, EnCodec és DAC neurális kodekekbe
Az AudioLM és a MusicLM által generált többrétegű hangjelzők előállítása
A kodek bitsebességének növelése vagy csökkentése több vagy kevesebb kvantáló fokozat aktiválásával
Nagydimenziós beágyazások tömörítése visszakereső és tárolási rendszerekben halmozott kódkönyvek segítségével
Az RVQ a folyamatos neurális reprezentációkat token alapú generatív modellekkel összekötő szabványos diszkretizációs réteggé vált, és a finomítások folytatódnak: jobb kódkönyvhasználat a „halott” bejegyzések elkerülése érdekében, faktorizált és alacsony dimenziós kódkönyvek, valamint szemantikailag értelmes token hierarchiák. A hangon túl ugyanez a maradék halmozási ötlet terjed el a kép- és videótokenizátorokban is, és az RVQ-t általános hídként helyezi el a folyamatos kódolók és a nyelvmodell-stílusú sorozatgenerátorok között.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A maradékvektor-kvantálás (RVQ) az a technika, amely a folyamatos hangbeágyazásokat diszkrét kódok kompakt kötegévé alakítja a maradék hiba ismételt kvantálásával. Ez azért fontos, mert ez a motor a modern neurális kodekek, például a SoundStream és az EnCodec mögött, és a generatív hang tokenizátora.
Miután az első kódkönyv durva becslést ad, az RVQ kivonja azt, és a maradék maradékot a következő kódkönyvvel kvantálja, megismételve a szakaszokon keresztül.
Egyetlen kódkönyv, amely elég jó a minőséghez, gyakorlatilag nem lenne nagy; K bejegyzésből álló M kódkönyvek egymásra halmozása sokkal kevesebb tárhellyel biztosít K^M kombinációkat.
A rekonstrukció a kiválasztott kódkönyvvektorok összege az összes szakaszban, mindegyik korrigálja az előzőek maradékát.
Ha kiválaszt egyet a K bejegyzések közül M független szakaszonként, K^M lehetséges kombinációt eredményez, miközben csak M*K vektort tárol.
A kötelezettségvesztés megbünteti a kódolót, ha annak kimenetei eltérnek a kiválasztott kódkönyvvektoroktól, így a kvantálás stabil marad; maguk a kódkönyvek gyakran egy exponenciális mozgóátlagon keresztül frissülnek.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
X-Vector hangszóró beágyazások
Hangalapú AI