DiffWave Itankale Vocoder
DiffWave jẹ vocoder ti o da lori itankale ti o ṣepọ ohun ohun nipasẹ didakọ ariwo laileto sinu fọọmu igbi kan, ni ilodi si lori mel-spectrogram kan.
Akopọ
It brought diffusion models to high-fidelity speech, rivaling GANs and WaveNet without adversarial training.
Jin Dive
DiffWave, ti a ṣe nipasẹ Kong et al. ni 2020, kan denoising itankale iṣeeṣe awoṣe ilana si ohun aise. Lakoko ikẹkọ o maa n ṣafikun ariwo Gaussian si ọna igbi ti o mọ lori ọpọlọpọ awọn igbesẹ, lẹhinna kọ ẹkọ nẹtiwọọki lati ṣe asọtẹlẹ ati yọ ariwo naa kuro ni igbesẹ kọọkan. Ni akoko iran o bẹrẹ lati ariwo mimọ ati ṣiṣe ilana yiyipada, ni ilodi si lori mel-spectrogram, lati gba ọrọ mimọ pada. Egungun ẹhin jẹ ti kii-autoregressive, nẹtiwọọki ti o gbooro-convolution ti o dabi WaveNet ṣugbọn asọtẹlẹ ariwo kuku ju awọn apẹẹrẹ lọ. DiffWave ibaamu awọn vocoders ti o lagbara ni didara ati pe o lagbara ni pataki, paapaa ti n ṣe agbejade ọrọ lainidi lainidi ati awọn abajade deede kọja awọn agbohunsoke. Iṣowo akọkọ jẹ iyara: iṣapẹẹrẹ aiṣedeede nilo awọn dosinni si ẹgbẹẹgbẹrun awọn igbesẹ, botilẹjẹpe awọn iṣeto iyara ge eyi si diẹ bi mẹfa.
Imọ-imọ-ẹrọ
DiffWave kọ ẹkọ gradient ti pinpin data ni aitọ nipa ikẹkọ nẹtiwọọki kan lati ṣe asọtẹlẹ ariwo ti a ṣafikun ni igbesẹ itankale laileto, ni lilo ibi-afẹde L2 ti o rọrun. Iṣayẹwo ṣe atunṣe iṣeto ariwo ti o wa titi, ati nọmba awọn igbesẹ ti n ṣowo didara fun iyara; Awọn oniwadi rii awọn iṣeto kukuru ti a ti yan daradara ti bii awọn igbesẹ mẹfa ṣe itọju iṣotitọ julọ, titan ilana igbesẹ ẹgbẹrun kan sinu nkan ti o sunmọ ilowo.
Ipa Ilana
Wiwọle ati arọwọto
O ṣe ilọsiwaju iraye si nipasẹ transcription, alaye, ati awọn atọkun ohun.
Iye owo ati isuna
Awọn ẹgbẹ Media le firanṣẹ ohun didan yiyara pẹlu awọn isuna-owo kekere.
Iyara ati iwọn
Awọn ọna ṣiṣe ti nkọju si alabara le ṣe ilana awọn ibaraẹnisọrọ sisọ ni iwọn nla.
Ojo iwaju ti DiffWave Diffusion Vocoder
DiffWave ti tapa awọn vocoders kaakiri ati awọn aṣeyọri yiyara bi PriorGrad ati FastDiff ti o ni idiyele igbese idinku. Aaye naa n ṣajọpọ lori distillation ati awọn imuposi awoṣe aitasera ti o ṣe ifọkansi fun iṣapẹẹrẹ itankale igbesẹ-nikan, pipade aafo iyara pẹlu awọn vocoders GAN lakoko ti o tọju ikẹkọ iduroṣinṣin ti itankale ati agbara. Reti awọn imọran itankale lati tan siwaju si orin, awọn codecs nkankikan, ati iran ohun afetigbọ agbaye nibiti ipo agbegbe ṣe pataki.
Real-World imuse
Ọrọ-si-ọrọ ifaramọ ti iṣan-giga awọn ipari ti o yago fun ikẹkọ GAN ti ko duro
Iran ọrọ ti ko ni majemu fun imudara data ati iwadii ohun
Iṣagbepọ ohun agbọrọsọ-logan nibiti awoṣe kan ti n kapa ọpọlọpọ awọn ohun ni igbagbogbo
Ibugbe idanwo fun iwadii itanka iṣapẹẹrẹ iyara, lilo awọn iṣeto ariwo kukuru si ohun ohun akoko gidi
Awọn ewu & Awọn ọna iṣọ
ilokulo ohun ati awọn ewu afarawe ṣe pọ si nigbati igbanilaaye ba sonu.
Yiye le ju silẹ kọja awọn asẹnti, awọn ede-ede, tabi awọn agbegbe alariwo.
Ohun afetigbọ sintetiki le jẹ aṣiṣe fun ọrọ ododo laisi isamisi to yege.
Ilana Ilana imuse
Gba ifọkansi ti o fojuhan fun gbigba ohun, ti ẹda, ati ilotunlo.
Didara idanwo kọja awọn agbohunsoke oniruuru ati awọn ipo abẹlẹ.
Ṣetumo nigbati eniyan gbọdọ ṣe atunyẹwo tabi fọwọsi awọn abajade.
Aami ohun sintetiki ki o tọju awọn igbasilẹ provenance fun iṣiro.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the DiffWave Diffusion Vocoder quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
Idurosinsin Audio wiwaba Itankale
Awọn ibeere ti a beere nigbagbogbo
What is DiffWave Diffusion Vocoder?
DiffWave jẹ vocoder ti o da lori itankale ti o ṣepọ ohun ohun nipasẹ didakọ ariwo laileto sinu fọọmu igbi kan, ni ilodi si lori mel-spectrogram kan. O mu awọn awoṣe itankale lọ si ọrọ iṣotitọ giga, idije GANs ati WaveNet laisi ikẹkọ ọta.
Bawo ni DiffWave ṣe ṣe agbejade ohun ni akoko itọkasi?
DiffWave bẹrẹ lati ariwo Gaussian ati ṣiṣe ilana ipadasẹhin yiyipada, ni ilodisi leralera lakoko ti o ni ilodi si lori mel-spectrogram, lati ṣe agbekalẹ igbi.
Kini nẹtiwọọki DiffWave kọ gangan lati ṣe asọtẹlẹ lakoko ikẹkọ?
DiffWave ṣe ikẹkọ nẹtiwọọki kan lati ṣe asọtẹlẹ ariwo Gaussian ti a ṣafikun ni igbesẹ itankale laileto, ni lilo pipadanu L2 iwuwo.
Kini idiwo ilowo akọkọ ti DiffWave ni akawe si awọn vocoders GAN?
Iṣapẹẹrẹ itọnilẹjẹ alaigbọran nilo ọpọlọpọ awọn igbesẹ yiyipada; botilẹjẹpe awọn iṣeto iyara ṣe iranlọwọ, ilana aṣetunṣe jẹ idiyele iyara akọkọ.
Anfani wo ni DiffWave ni lori awọn vocoders GAN ni ikẹkọ?
Awọn awoṣe itọka jẹ ikẹkọ pẹlu ibi-afẹde ara-ipadasẹyin iduroṣinṣin, ni ilodi si aisedeede ti ikẹkọ GAN ọta le jiya.
Kini faaji wo ni Nẹtiwọọki Asọtẹlẹ ariwo DiffWave jọ?
DiffWave nlo ẹhin ti kii-autoregressive ti awọn iyipada ti o gbooro ti o jọra si WaveNet, ṣugbọn o sọ asọtẹlẹ ariwo kuku ju awọn ayẹwo ohun.