Up tókànItọsọna atẹle
Idurosinsin Audio wiwaba Itankale
Ohùn AI
Audio AI Itọsọna
DiffWave Itankale Vocoder
DiffWave jẹ vocoder ti o da lori itankale ti o ṣepọ ohun ohun nipasẹ didakọ ariwo laileto sinu fọọmu igbi kan, ni ilodi si lori mel-spectrogram kan.
Gbọ si itọsọna yiiAI-ṣe afihan · ~2 min
Lori iwe yi2 min ka
Akopọ
It brought diffusion models to high-fidelity speech, rivaling GANs and WaveNet without adversarial training.
Jin Dive
DiffWave, ti a ṣe nipasẹ Kong et al. ni 2020, kan denoising itankale iṣeeṣe awoṣe ilana si ohun aise. Lakoko ikẹkọ o maa n ṣafikun ariwo Gaussian si ọna igbi ti o mọ lori ọpọlọpọ awọn igbesẹ, lẹhinna kọ ẹkọ nẹtiwọọki lati ṣe asọtẹlẹ ati yọ ariwo naa kuro ni igbesẹ kọọkan. Ni akoko iran o bẹrẹ lati ariwo mimọ ati ṣiṣe ilana yiyipada, ni ilodi si lori mel-spectrogram, lati gba ọrọ mimọ pada. Egungun ẹhin jẹ ti kii-autoregressive, nẹtiwọọki ti o gbooro-convolution ti o dabi WaveNet ṣugbọn asọtẹlẹ ariwo kuku ju awọn apẹẹrẹ lọ. DiffWave ibaamu awọn vocoders ti o lagbara ni didara ati pe o lagbara ni pataki, paapaa ti n ṣe agbejade ọrọ lainidi lainidi ati awọn abajade deede kọja awọn agbohunsoke. Iṣowo akọkọ jẹ iyara: iṣapẹẹrẹ aiṣedeede nilo awọn dosinni si ẹgbẹẹgbẹrun awọn igbesẹ, botilẹjẹpe awọn iṣeto iyara ge eyi si diẹ bi mẹfa.
Real-World imuse
Ọrọ-si-ọrọ ifaramọ ti iṣan-giga awọn ipari ti o yago fun ikẹkọ GAN ti ko duro
Iran ọrọ ti ko ni majemu fun imudara data ati iwadii ohun
Iṣagbepọ ohun agbọrọsọ-logan nibiti awoṣe kan ti n kapa ọpọlọpọ awọn ohun ni igbagbogbo
Ibugbe idanwo fun iwadii itanka iṣapẹẹrẹ iyara, lilo awọn iṣeto ariwo kukuru si ohun ohun akoko gidi
Ojo iwaju ti DiffWave Diffusion Vocoder
DiffWave ti tapa awọn vocoders kaakiri ati awọn aṣeyọri yiyara bi PriorGrad ati FastDiff ti o ni idiyele igbese idinku. Aaye naa n ṣajọpọ lori distillation ati awọn imuposi awoṣe aitasera ti o ṣe ifọkansi fun iṣapẹẹrẹ itankale igbesẹ-nikan, pipade aafo iyara pẹlu awọn vocoders GAN lakoko ti o tọju ikẹkọ iduroṣinṣin ti itankale ati agbara. Reti awọn imọran itankale lati tan siwaju si orin, awọn codecs nkankikan, ati iran ohun afetigbọ agbaye nibiti ipo agbegbe ṣe pataki.
Fifi o sinu iwa
Kini idi ti o ṣe pataki
- Wiwọle ati arọwọto. O ṣe ilọsiwaju iraye si nipasẹ transcription, alaye, ati awọn atọkun ohun.
- Iye owo ati isuna. Awọn ẹgbẹ Media le firanṣẹ ohun didan yiyara pẹlu awọn isuna-owo kekere.
- Iyara ati iwọn. Awọn ọna ṣiṣe ti nkọju si alabara le ṣe ilana awọn ibaraẹnisọrọ sisọ ni iwọn nla.
Ṣọra fun
- ilokulo ohun ati awọn ewu afarawe ṣe pọ si nigbati igbanilaaye ba sonu.
- Yiye le ju silẹ kọja awọn asẹnti, awọn ede-ede, tabi awọn agbegbe alariwo.
- Ohun afetigbọ sintetiki le jẹ aṣiṣe fun ọrọ ododo laisi isamisi to yege.
Next awọn igbesẹ
- Gba ifọkansi ti o fojuhan fun gbigba ohun, ti ẹda, ati ilotunlo.
- Didara idanwo kọja awọn agbohunsoke oniruuru ati awọn ipo abẹlẹ.
- Ṣetumo nigbati eniyan gbọdọ ṣe atunyẹwo tabi fọwọsi awọn abajade.
- Aami ohun sintetiki ki o tọju awọn igbasilẹ provenance fun iṣiro.
Tesiwaju Ṣiṣawari
Ìwé ìròyìn ọfẹ
Gba ìkànìyàn AI ojoojúmọ́
Ìtàn AI mẹta tó jẹ́rìí ní gbogbo owurọ́ ọjọ́ iṣẹ́, kọ́wé ní Gẹ̀ẹ́sì tó rọrùn. Ọfẹ́ fún gbogbo àkókò, kò sí ìpolówó.
Ìmeèlì kan ní gbogbo ọjọ́ iṣẹ́. Yọkúrò ní ìkànìyàn ní ìkànìyàn kan. A kò ta tàbí pín àdírẹ́sì rẹ.
Ṣe idanwo fun ara rẹ
Take the DiffWave Diffusion Vocoder quiz
Ìdáhùn lẹ́sẹ̀kẹsẹ̀ lórí gbogbo ìdáhùn, àti iwe-ẹ̀rí tó lè pin pẹ̀lú ID tó lè jẹ́rìí lẹ́yìn tí o bá kọ́ ẹ̀kọ́.
Ṣe àtìlẹ́yìn ẹ̀kọ́ AI ọfẹ́. AI Understanding jẹ́ àjọ àìní èrè 501(c)(3) — kò sí ìpolówó, kò sí àkúnya owó, ní gbogbo àkókò. Ṣe ẹbun kan
Awọn ibeere ti a beere nigbagbogbo
What is DiffWave Diffusion Vocoder?
DiffWave jẹ vocoder ti o da lori itankale ti o ṣepọ ohun ohun nipasẹ didakọ ariwo laileto sinu fọọmu igbi kan, ni ilodi si lori mel-spectrogram kan. O mu awọn awoṣe itankale lọ si ọrọ iṣotitọ giga, idije GANs ati WaveNet laisi ikẹkọ ọta.
Bawo ni DiffWave ṣe ṣe agbejade ohun ni akoko itọkasi?
DiffWave bẹrẹ lati ariwo Gaussian ati ṣiṣe ilana ipadasẹhin yiyipada, ni ilodisi leralera lakoko ti o ni ilodi si lori mel-spectrogram, lati ṣe agbekalẹ igbi.
Kini nẹtiwọọki DiffWave kọ gangan lati ṣe asọtẹlẹ lakoko ikẹkọ?
DiffWave ṣe ikẹkọ nẹtiwọọki kan lati ṣe asọtẹlẹ ariwo Gaussian ti a ṣafikun ni igbesẹ itankale laileto, ni lilo pipadanu L2 iwuwo.
Kini idiwo ilowo akọkọ ti DiffWave ni akawe si awọn vocoders GAN?
Iṣapẹẹrẹ itọnilẹjẹ alaigbọran nilo ọpọlọpọ awọn igbesẹ yiyipada; botilẹjẹpe awọn iṣeto iyara ṣe iranlọwọ, ilana aṣetunṣe jẹ idiyele iyara akọkọ.
Anfani wo ni DiffWave ni lori awọn vocoders GAN ni ikẹkọ?
Awọn awoṣe itọka jẹ ikẹkọ pẹlu ibi-afẹde ara-ipadasẹyin iduroṣinṣin, ni ilodi si aisedeede ti ikẹkọ GAN ọta le jiya.
Kini faaji wo ni Nẹtiwọọki Asọtẹlẹ ariwo DiffWave jọ?
DiffWave nlo ẹhin ti kii-autoregressive ti awọn iyipada ti o gbooro ti o jọra si WaveNet, ṣugbọn o sọ asọtẹlẹ ariwo kuku ju awọn ayẹwo ohun.
Tesiwaju kikọ
Jẹmọ awọn itọsọna
Awọn itọsọna diẹ sii ti a yan fun koko yii