VolgendeVolgende gids
PANN's: voorgetrainde audioneurale netwerken
Audio-AI
Audio AI-GIDS
Een neurale vocoder genereert een golfvorm op basis van akoestische kenmerken.
Luister naar deze gidsAI-verteld · ~1 min
De WaveNet- en HiFi-GAN-artikelen beschrijven twee specifieke neurale architectuur voor het genereren van spraak; hun resultaten zijn toegespitst op de gerapporteerde taken, gegevens en systemen.
WaveNet modelleert onbewerkte audio autoregressief en het originele artikel beschrijft het genereren van samples per sample. HiFi-GAN is een op GAN gebaseerd spraaksynthesemodel. De generator maakt gebruik van fusieblokken met meerdere receptieve velden, terwijl de discriminatoren over perioden en tijdschalen heen werken. Dit zijn architectuurdetails en benchmarkresultaten uit de geciteerde artikelen; ze zorgen niet voor universele meertalige, zang-, toegankelijkheids- of stemherstelprestaties.
WaveNet lezen als een autoregressief model van onbewerkte audiosamples.
Onderzoek naar de multi-receptieve veldfusiegeneratorblokken van HiFi-GAN.
Vergelijking van de multi-periode- en multi-schaaldiscriminators van HiFi-GAN.
Het behandelen van de uitvoer van akoestische modellen en de golfvormsynthese als afzonderlijke fasen in de geëvalueerde HiFi-GAN/TTS-opstelling.
Evalueer een vocoder op de beoogde akoestische kenmerken, luidsprekers en opnamedomein met behulp van op elkaar afgestemde basislijnen. Uit de geciteerde artikelen blijkt niet dat één architectuur het beste is voor elke taal, zangtaak, apparaat of inzet.
Gratis nieuwsbrief
Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.
Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.
Test jezelf
Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.
Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie
Een neurale vocoder genereert een golfvorm op basis van akoestische kenmerken. De WaveNet- en HiFi-GAN-artikelen beschrijven twee specifieke neurale architectuur voor het genereren van spraak; hun resultaten zijn toegespitst op de gerapporteerde taken, gegevens en systemen.
Een neurale vocoder gebruikt een compact akoestisch kenmerk, meestal een mel-spectrogram, en synthetiseert de daadwerkelijke ruwe audiogolfvorm die u hoort.
WaveNet, van DeepMind in 2016, genereerde audio monster voor monster en produceerde opvallend natuurlijke spraak, waarmee het neurale vocoder-tijdperk begon.
WaveNet is autoregressief: elk audiosample is afhankelijk van de voorgaande, dus het genereren van tienduizenden samples per seconde was rekentechnisch duur.
Mel-spectrogrammen behouden de magnitude (energie per frequentieband) maar laten de fase vallen, dus de vocoder moet een coherente golfvorm reconstrueren waarvan de fase plausibel is.
HiFi-GAN maakt gebruik van verschillende discriminatoren die verschillende tijdschalen en periodiciteiten inspecteren, waardoor de generator wordt aangezet om realistische harmonischen en transiënten te produceren.
Blijf leren
Er zijn meer handleidingen voor dit onderwerp geselecteerd
VolgendeVolgende gids
PANN's: voorgetrainde audioneurale netwerken
Audio-AI