DalšíDalší průvodce
Stabilní latentní šíření zvuku
Zvuková AI
Zvukový průvodce AI
DiffWave je vokodér založený na difúzi, který syntetizuje zvuk opakovaným odšumováním náhodného šumu do tvaru vlny, podmíněného mel-spektrogramem.
Poslechněte si tento návodAI-vyprávěný · ~2 min
Přinesl difúzní modely do vysoce věrné řeči, konkurující GAN a WaveNet bez tréninku protivníka.
DiffWave, představený Kongem a kol. v roce 2020 aplikuje pravděpodobnostní modelový rámec pro odšumování difúze na nezpracovaný zvuk. Během tréninku postupně přidává gaussovský šum k čistému průběhu v mnoha krocích, pak se učí síť předpovídat a odstraňovat tento šum v každém kroku. V době generace začíná čistým šumem a běží zpětný proces, podmíněný mel-spektrogramem, aby obnovil čistou řeč. Páteří je neautoregresivní síť s dilatovanou konvolucí připomínající WaveNet, ale předpovídá spíše šum než vzorky. DiffWave se kvalitou vyrovná silným vokodérům a je pozoruhodně robustní, dokonce produkuje rozumnou bezpodmínečnou řeč a konzistentní výsledky napříč reproduktory. Hlavním kompromisem je rychlost: naivní vzorkování potřebuje desítky až tisíce kroků, i když rychlé plány to zkrátí na pouhých šest.
Vysoce věrné neurální zadní konce převodu textu na řeč, které zabraňují nestabilnímu tréninku GAN
Bezpodmínečné generování řeči pro rozšiřování dat a výzkum zvuku
Odolná hlasová syntéza, kde jeden model zvládá konzistentně mnoho hlasů
Testovací zařízení pro výzkum difúze s rychlým vzorkováním, které používá krátké plány šumu na zvuk v reálném čase
DiffWave odstartoval difúzní vokodéry a rychlejší nástupce jako PriorGrad a FastDiff, které se počítají. Pole se sbližuje s technikami destilace a modelu konzistence, které se zaměřují na jednokrokové difúzní vzorkování, uzavírání mezery v rychlosti pomocí vokodérů GAN při zachování stabilního tréninku a robustnosti difuze. Očekávejte rozšíření nápadů dále do hudby, neuronových kodeků a univerzálního generování zvuku, kde záleží na pokrytí režimu.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
DiffWave je vokodér založený na difúzi, který syntetizuje zvuk opakovaným odšumováním náhodného šumu do tvaru vlny, podmíněného mel-spektrogramem. Přinesl difúzní modely do vysoce věrné řeči, konkurující GAN a WaveNet bez tréninku protivníka.
DiffWave vychází z Gaussova šumu a spouští proces reverzní difúze, přičemž opakovaně odstraňuje šum, zatímco je kondicionován na mel-spektrogramu, aby se vytvořil tvar vlny.
DiffWave trénuje síť, aby předpověděla Gaussův šum přidaný v náhodně zvoleném kroku difúze pomocí vážené ztráty L2.
Naivní difúzní vzorkování vyžaduje mnoho obrácených kroků; i když rychlé plány pomáhají, iterativní proces je hlavním nákladem na rychlost.
Difúzní modely jsou trénovány se stabilním cílem ve stylu regrese, čímž se vyhýbá nestabilitě, kterou může trpět protivníkův trénink GAN.
DiffWave používá neautoregresivní páteř dilatovaných konvolucí podobně jako WaveNet, ale předpovídá spíše šum než zvukové vzorky.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Stabilní latentní šíření zvuku
Zvuková AI