VolgendeVolgende gids
Stabiele latente audioverspreiding
Audio-AI
Audio AI-GIDS
DiffWave is een op diffusie gebaseerde vocoder die audio synthetiseert door willekeurige ruis iteratief te denoseren tot een golfvorm, geconditioneerd op een mel-spectrogram.
Luister naar deze gidsAI-verteld · ~2 min
Het bracht diffusiemodellen naar spraak met hoge kwaliteit, waarmee ze konden wedijveren met GANs en WaveNet zonder adversariale training.
DiffWave, geïntroduceerd door Kong et al. past in 2020 het probabilistische modelraamwerk voor ruisverspreiding toe op onbewerkte audio. Tijdens de training voegt het geleidelijk Gaussische ruis toe aan een zuivere golfvorm over vele stappen, en leert vervolgens een netwerk om die ruis bij elke stap te voorspellen en te verwijderen. Tijdens de generatie begint het met pure ruis en voert het het omgekeerde proces uit, geconditioneerd op een mel-spectrogram, om zuivere spraak te herstellen. De ruggengraat is een niet-autoregressief netwerk met gedilateerde convolutie dat lijkt op WaveNet, maar dat ruis voorspelt in plaats van samples. DiffWave komt qua kwaliteit overeen met sterke vocoders en is opmerkelijk robuust, en produceert zelfs redelijke onvoorwaardelijke spraak en consistente resultaten over de luidsprekers. Het belangrijkste compromis is snelheid: naïeve sampling heeft tientallen tot duizenden stappen nodig, hoewel snelle schema's dit terugbrengen tot slechts zes.
High-fidelity neurale tekst-naar-spraak-backends die onstabiele GAN-training voorkomen
Onvoorwaardelijke spraakgeneratie voor datavergroting en audioonderzoek
Luidspreker-robuuste stemsynthese waarbij één model meerdere stemmen consistent verwerkt
Een testbed voor diffusieonderzoek met snelle bemonstering, waarbij korte ruisschema's worden toegepast op realtime audio
DiffWave lanceerde diffusie-vocoders en snellere opvolgers zoals PriorGrad en FastDiff die het aantal stappen aanzienlijk verlagen. Het veld convergeert naar destillatie- en consistentiemodeltechnieken die gericht zijn op diffusiebemonstering in één stap, waarbij de snelheidskloof met GAN-vocoders wordt gedicht, terwijl de stabiele training en robuustheid van de diffusie behouden blijft. Verwacht dat diffusie-ideeën zich verder zullen verspreiden naar muziek, neurale codecs en universele audiogeneratie, waarbij de dekking van de modus van belang is.
Gratis nieuwsbrief
Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.
Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.
Test jezelf
Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.
Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie
DiffWave is een op diffusie gebaseerde vocoder die audio synthetiseert door willekeurige ruis iteratief te denoseren tot een golfvorm, geconditioneerd op een mel-spectrogram. Het bracht diffusiemodellen naar hifi-toespraak, die rivaliserende GAN's en WaveNet zonder vijandige training.
DiffWave vertrekt van Gaussische ruis en voert het omgekeerde diffusieproces uit, waarbij herhaaldelijk de ruis wordt verwijderd terwijl het wordt geconditioneerd op een mel-spectrogram, om de golfvorm te produceren.
DiffWave traint een netwerk om de Gaussische ruis te voorspellen die wordt toegevoegd bij een willekeurig gekozen diffusiestap, met behulp van een gewogen L2-verlies.
Naïeve diffusiebemonstering heeft veel omgekeerde stappen nodig; hoewel snelle schema's helpen, is het iteratieve proces de belangrijkste snelheidskost.
Diffusiemodellen worden getraind met een stabiele regressie-achtige doelstelling, waarbij de instabiliteit wordt omzeild waar vijandige GAN-training onder kan lijden.
DiffWave gebruikt een niet-autoregressieve ruggengraat van verwijde convoluties vergelijkbaar met WaveNet, maar voorspelt ruis in plaats van audiosamples.
Blijf leren
Er zijn meer handleidingen voor dit onderwerp geselecteerd
VolgendeVolgende gids
Stabiele latente audioverspreiding
Audio-AI