LegközelebbKövetkező útmutató
Stabil audio látens diffúzió
Hangalapú AI
Audio AI ÚTMUTATÓ
A DiffWave egy diffúzió alapú vocoder, amely a véletlenszerű zaj iteratív zajtalanításával szintetizálja a hangot egy mel-spektrogramon kondicionált hullámformává.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
Diffúziós modelleket hozott a nagy hűségű beszédbe, versenyezve a GAN-okkal és a WaveNet-tel, anélkül, hogy ellentmondásos képzést kapna.
DiffWave, amelyet Kong és munkatársai vezettek be. 2020-ban a zajtalanító diffúziós valószínűségi modell keretrendszerét alkalmazza a nyers hangra. A képzés során fokozatosan hozzáadja a Gauss-zajt a tiszta hullámformához, több lépésben, majd megtanul egy hálózatot, hogy megjósolja és minden lépésben eltávolítsa ezt a zajt. Generációs időben a tiszta zajból indul ki, és a mel-spektrogramon kondicionált fordított folyamatot futtatja a tiszta beszéd helyreállítása érdekében. A gerinc egy nem autoregresszív, tágított konvolúciójú hálózat, amely hasonlít a WaveNetre, de inkább zajt jósol, mint mintákat. A DiffWave minőségileg megfelel az erős vokódereknek, és kifejezetten robusztus, még ésszerű, feltétel nélküli beszédet és konzisztens eredményeket produkál a hangszórókban. A fő kompromisszum a gyorsaság: a naiv mintavételezés több tucat-ezer lépést igényel, bár a gyors ütemezések ezt mindössze hatra csökkentik.
Nagy pontosságú neurális szövegfelolvasó háttérvégek, amelyek elkerülik az instabil GAN képzést
Feltétel nélküli beszédgenerálás adatbővítéshez és hangkutatáshoz
Hangszóró robusztus hangszintézis, ahol egy modell több hangot is folyamatosan kezel
Tesztágy a gyors mintavételezésű diffúziókutatáshoz, rövid zajütemezések alkalmazásával a valós idejű hanghoz
A DiffWave elindította a diffúziós vocodereket és a gyorsabb utódokat, mint a PriorGrad és a FastDiff, amelyek csökkentik a lépésszámot. A terület közeledik a desztillációs és a konzisztencia-modell technikák felé, amelyek az egylépéses diffúziós mintavételt célozzák, a sebességkülönbséget GAN vokoderekkel lezárva, miközben megőrzik a diffúzió stabil képzését és robusztusságát. Várhatóan a diffúziós ötletek továbbterjednek a zenében, a neurális kodekekben és az univerzális hanggenerálásban, ahol a mód lefedettsége számít.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A DiffWave egy diffúzió alapú vocoder, amely a véletlenszerű zaj iteratív zajtalanításával szintetizálja a hangot egy mel-spektrogramon kondicionált hullámformává. Diffúziós modelleket hozott a nagy hűségű beszédbe, versenyezve a GAN-okkal és a WaveNet-tel, anélkül, hogy ellentmondásos képzést kapna.
A DiffWave a Gauss-zajból indul ki, és fordított diffúziós folyamatot hajt végre, mel-spektrogramra kondicionálva ismételten zajtalanítást, hogy létrehozza a hullámformát.
A DiffWave egy hálózatot képez a véletlenszerűen kiválasztott diffúziós lépésben hozzáadott Gauss-zaj előrejelzésére, súlyozott L2 veszteséggel.
A naiv diffúziós mintavételhez sok fordított lépésre van szükség; bár a gyors ütemezés segít, az iteratív folyamat a fő sebességi költség.
A diffúziós modelleket stabil regressziós típusú céllal képezték ki, elkerülve azt az instabilitást, amelyet az ellenséges GAN képzés elszenvedhet.
A DiffWave a WaveNethez hasonló, nem autoregresszív tágult konvolúciós gerincet használ, de inkább zajt jósol, mint hangmintákat.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Stabil audio látens diffúzió
Hangalapú AI