MWONGOZO WA AI wa Sauti

Vokoda ya Usambazaji wa DiffWave

DiffWave ni vokoda inayotegemea usambaaji ambayo husanikisha sauti kwa kutoa tena kelele nasibu katika muundo wa mawimbi, iliyowekwa kwenye spectrogramu ya mel.

Sikiliza mwongozo huuInaonyeshwa na AI · ~2 min

Anza kusomaChukua chemsha bongo
Katika ukurasa huudk 2 kusoma
  1. Muhtasari
  2. Dive ya kina
  3. Utekelezaji wa Ulimwengu Halisi
  4. Mustakabali wa Vokoda ya Usambazaji wa DiffWave
  5. Kuiweka katika vitendo
  6. Endelea Kuchunguza
  7. Maswali yanayoulizwa mara kwa mara

Muhtasari

It brought diffusion models to high-fidelity speech, rivaling GANs and WaveNet without adversarial training.

Dive ya kina

DiffWave, iliyoletwa na Kong et al. mnamo 2020, itatumia mfumo wa muundo wa uwezekano wa uenezaji wa denoising kwa sauti mbichi. Wakati wa mafunzo hatua kwa hatua huongeza kelele ya Gaussian kwa muundo safi wa wimbi juu ya hatua nyingi, kisha hujifunza mtandao kutabiri na kuondoa kelele hiyo kwa kila hatua. Wakati wa kizazi huanza kutoka kwa kelele safi na huendesha mchakato wa kinyume, uliowekwa kwenye mel-spectrogram, kurejesha usemi safi. Uti wa mgongo ni mtandao usio na nguvu, uliopanuka unaofanana na WaveNet lakini unatabiri kelele badala ya sampuli. DiffWave inalingana na vokoda kali katika ubora na ni thabiti haswa, hata hutoa usemi unaokubalika usio na masharti na matokeo thabiti katika spika zote. Biashara kuu ni kasi: sampuli zisizo na maana zinahitaji kadhaa hadi maelfu ya hatua, ingawa ratiba za haraka zilipunguza hii hadi sita.

Utekelezaji wa Ulimwengu Halisi

Uaminifu wa hali ya juu wa maandishi-kwa-hotuba ya maandishi-kwa-hotuba ambayo huepuka mafunzo ya GAN yasiyokuwa thabiti

Uzalishaji wa hotuba bila masharti kwa uboreshaji wa data na utafiti wa sauti

Usanisi wa sauti yenye nguvu ya spika ambapo muundo mmoja hushughulikia sauti nyingi mfululizo

Kitanda cha majaribio cha utafiti wa uenezi wa sampuli za haraka, kutumia ratiba fupi za kelele kwa sauti ya wakati halisi

Mustakabali wa Vokoda ya Usambazaji wa DiffWave

DiffWave ilianzisha vokoda za uenezaji na warithi wenye kasi zaidi kama vile PriorGrad na FastDiff ambazo ni hesabu za hatua za kufyeka. Uga unachanganyika kwenye mbinu za kunereka na muundo wa uthabiti ambazo zinalenga sampuli ya uenezaji wa hatua moja, kufunga mwango wa kasi na vokoda za GAN huku ukiweka mafunzo thabiti na uthabiti. Tarajia mawazo ya uenezaji kuenea zaidi katika muziki, kodeki za neural, na kizazi cha sauti cha ulimwengu ambapo ufunikaji wa hali ni muhimu.

Kuiweka katika vitendo

Kwa nini ni muhimu

  • Kufikia na kufikia. Huboresha ufikiaji kupitia manukuu, simulizi na violesura vya sauti.
  • Gharama na bajeti. Timu za media zinaweza kusafirisha sauti iliyoboreshwa haraka na bajeti ndogo.
  • Kasi na kiwango. Mifumo inayowakabili wateja inaweza kuchakata mwingiliano wa mazungumzo kwa kiwango kikubwa.

Jihadharini na

  • Hatari za matumizi mabaya ya sauti na uigaji huongezeka wakati kibali kinakosekana.
  • Usahihi unaweza kushuka katika lafudhi, lahaja au mazingira yenye kelele.
  • Sauti ya syntetisk inaweza kudhaniwa kimakosa kuwa usemi halisi bila kuweka lebo wazi.

Hatua zinazofuata

  1. Pata idhini ya moja kwa moja ya kunasa sauti, kuunda na kutumia tena.
  2. Jaribu ubora kwenye spika na hali mbalimbali za usuli.
  3. Bainisha wakati ni lazima binadamu akague au aidhinishe matokeo.
  4. Weka lebo sauti ya sintetiki na uhifadhi rekodi za asili kwa uwajibikaji.

Endelea Kuchunguza

Sauti AI

Jifunze jinsi mifumo ya usemi inavyotambua na kutoa lugha.Soma Mwongozo

Muziki wa AI

Kuelewa zana za kisasa za kizazi cha muziki na vikwazo.Soma Mwongozo

Jarida halali

Pata taarifa ya kila siku ya AI

Hadithi tatu za AI zilizothibitishwa kila asubuhi ya wiki, zimetengenezwa kwa Kiingereza rahisi. Bila malipo daima, hakuna matangazo.

Barua pepe moja kila siku ya wiki. Jiondoe kwa bonyeza moja. Hatutauza au kushiriki anwani yako.

Jijaribu mwenyewe

Take the DiffWave Diffusion Vocoder quiz

Maoni ya haraka juu ya kila jibu, na cheti kinachoweza kushirikishwa na kitambulisho kinachoweza kuthibitishwa baada ya kupita kozi.

Anza chemsha bongo

Changia elimu ya AI bila malipo. AI Understanding ni 501(c)(3) isiyo na faida — hakuna matangazo, hakuna kizuizi cha malipo, daima. Toa mchango

Maswali yanayoulizwa mara kwa mara

What is DiffWave Diffusion Vocoder?

DiffWave ni vokoda inayotegemea usambaaji ambayo husanikisha sauti kwa kutoa tena kelele nasibu katika muundo wa mawimbi, iliyowekwa kwenye spectrogramu ya mel. Ilileta mifano ya uenezaji kwa hotuba ya uaminifu wa hali ya juu, GAN zinazoshindana na WaveNet bila mafunzo ya uhasama.

Je, DiffWave hutoaje sauti kwa wakati wa uelekezaji?

DiffWave huanza kutoka kwa kelele ya Gaussian na huendesha mchakato wa uenezaji wa kinyume, ikitoa sauti mara kwa mara huku ikiwa imewekwa kwenye spektroramu ya mel, ili kutoa muundo wa wimbi.

Mtandao wa DiffWave unajifunza nini kutabiri wakati wa mafunzo?

DiffWave hufunza mtandao kutabiri kelele ya Gaussian iliyoongezwa kwa hatua iliyochaguliwa kwa nasibu ya uenezaji, kwa kutumia hasara ya L2 iliyopimwa.

Ni nini kikwazo kikuu cha vitendo cha DiffWave ikilinganishwa na vokoda za GAN?

Sampuli ya uenezaji wa Naive inahitaji hatua nyingi za kinyume; ingawa ratiba za haraka husaidia, mchakato wa kurudia ndio gharama kuu ya kasi.

DiffWave ina faida gani zaidi ya vokoda za GAN katika mafunzo?

Miundo ya usambaaji inafunzwa kwa lengo thabiti la mtindo wa urejeshaji, ukiepuka hali ya kuyumba ambayo mafunzo ya adui ya GAN yanaweza kuathiriwa.

Mtandao wa utabiri wa kelele wa DiffWave unafanana na usanifu gani?

DiffWave hutumia uti wa mgongo usio wa moja kwa moja wa mipasuko iliyopanuliwa sawa na WaveNet, lakini inatabiri kelele badala ya sampuli za sauti.

Endelea kujifunza

Miongozo inayohusiana

Miongozo zaidi imechaguliwa kwa mada hii

Pata cheti cha AI bureKozi fupi na mtihani bila malipo. Bila kadi. Hata dakika 2.5.Anza bure →