InayofuataMwongozo unaofuata
Sambamba ya Vokoda ya WaveGAN
Sauti AI
MWONGOZO WA AI wa Sauti
Vokoda za HiFi-GAN na GAN
HiFi-GAN ni Vokoda mzalishaji-adui ambayo hugeuza spektra ya mel kuwa muundo mbichi wa mawimbi ya sauti karibu papo hapo, na kutoa usemi wa ubora wa studio haraka zaidi kuliko wakati halisi.
Sikiliza mwongozo huuInaonyeshwa na AI · ~2 min
Katika ukurasa huudk 2 kusoma
Muhtasari
Ikawa hatua ya mwisho ya kawaida ya maandishi-kwa-hotuba ya kisasa kwa sababu ni ya haraka, nyepesi, na ni vigumu kutofautisha na rekodi halisi.
Dive ya kina
Vokoda ni hatua ya mwisho katika mabomba mengi ya TTS: modeli kama Tacotron au FastSpeech hutabiri spektra ya mel (picha fupi ya masafa kwa muda), na vokoda hujaza sampuli halisi za mawimbi. Vokoda za awali za neural kama WaveNet zilisikika vizuri lakini zilitoa sampuli za sauti kwa sampuli, na kuzifanya polepole sana. HiFi-GAN, iliyotolewa na Kong, Kim, na Bae mnamo 2020, ilibadilisha kitanzi hicho kiotomatiki na jenereta moja ya kusambaza mbele iliyofunzwa kimaadili. Ujanja wake muhimu ni kutumia vibaguzi vingi ambavyo huhukumu sauti katika viwango tofauti na kwa mifumo tofauti ya mara kwa mara, na kulazimisha jenereta kupata muundo mzuri na upimaji wa sauti sawa. Matokeo yake ni usemi wa kHz 22 ulioundwa mamia ya mara kwa kasi zaidi kuliko wakati halisi kwenye GPU, yenye ubora wa sauti inayopingana na ukweli wa msingi.
Utekelezaji wa Ulimwengu Halisi
Inazalisha matokeo yanayozungumzwa ya wasaidizi pepe na programu za usogezaji zinazohitaji majibu bila kuchelewa kusikika.
Inawezesha zana za uundaji wa sauti na uandikaji wa sauti katika wakati halisi ambapo kionjo cha mel-spectrogram kinatolewa kuwa sauti ya sauti asilia.
Kuendesha kitabu cha sauti na majukwaa ya masimulizi ya podikasti ambayo huunganisha saa za hotuba haraka na kwa bei nafuu.
Inatumika kama hatua ya muundo wa wimbi ndani ya visanishi vya sauti-kuimba na onyesho la muziki kupitia vokoda za ulimwengu za mtindo wa BigVGAN.
Mustakabali wa Vokoda za HiFi-GAN na GAN
Vokoda za GAN zinaendelea kuwa ndogo na kasi zaidi: wazao kama BigVGAN huongeza uanzishaji dhidi ya kutengwa ili kujumuisha waimbaji, ala na lugha zisizoonekana, huku UnivNet na Vocos zikisukumana kuelekea usanisi wa bendi zote. Utiririshaji na anuwai za kifaa sasa zinatumia sauti ndani ya simu na vifaa vya sauti vya masikioni kwa wasaidizi wa muda wa chini. Kwa kuongezeka, miundo ya sauti inayolingana na mtiririko inatolewa katika jenereta za pasi moja za mtindo wa GAN, ikichanganya uaminifu wa uenezaji na kasi ya GAN. Tarajia vokoda kufifia kuwa kodeki za sauti za neural za madhumuni ya jumla zinazowezesha usemi na muziki.
Kuiweka katika vitendo
Kwa nini ni muhimu
- Kufikia na kufikia. Huboresha ufikiaji kupitia manukuu, simulizi na violesura vya sauti.
- Gharama na bajeti. Timu za media zinaweza kusafirisha sauti iliyoboreshwa haraka na bajeti ndogo.
- Kasi na kiwango. Mifumo inayowakabili wateja inaweza kuchakata mwingiliano wa mazungumzo kwa kiwango kikubwa.
Jihadharini na
- Hatari za matumizi mabaya ya sauti na uigaji huongezeka wakati kibali kinakosekana.
- Usahihi unaweza kushuka katika lafudhi, lahaja au mazingira yenye kelele.
- Sauti ya syntetisk inaweza kudhaniwa kimakosa kuwa usemi halisi bila kuweka lebo wazi.
Hatua zinazofuata
- Pata idhini ya moja kwa moja ya kunasa sauti, kuunda na kutumia tena.
- Jaribu ubora kwenye spika na hali mbalimbali za usuli.
- Bainisha wakati ni lazima binadamu akague au aidhinishe matokeo.
- Weka lebo sauti ya sintetiki na uhifadhi rekodi za asili kwa uwajibikaji.
Endelea Kuchunguza
Jarida halali
Pata taarifa ya kila siku ya AI
Hadithi tatu za AI zilizothibitishwa kila asubuhi ya wiki, zimetengenezwa kwa Kiingereza rahisi. Bila malipo daima, hakuna matangazo.
Barua pepe moja kila siku ya wiki. Jiondoe kwa bonyeza moja. Hatutauza au kushiriki anwani yako.
Jijaribu mwenyewe
Take the HiFi-GAN and GAN Vocoders quiz
Maoni ya haraka juu ya kila jibu, na cheti kinachoweza kushirikishwa na kitambulisho kinachoweza kuthibitishwa baada ya kupita kozi.
Changia elimu ya AI bila malipo. AI Understanding ni 501(c)(3) isiyo na faida — hakuna matangazo, hakuna kizuizi cha malipo, daima. Toa mchango
Maswali yanayoulizwa mara kwa mara
HiFi-GAN na GAN Vokoda ni nini?
HiFi-GAN ni Vokoda mzalishaji-adui ambayo hugeuza spektra ya mel kuwa muundo mbichi wa mawimbi ya sauti karibu papo hapo, na kutoa usemi wa ubora wa studio haraka zaidi kuliko wakati halisi. Ikawa hatua ya mwisho ya kawaida ya maandishi-kwa-hotuba ya kisasa kwa sababu ni ya haraka, nyepesi, na ni vigumu kutofautisha na rekodi halisi.
Je, ni kazi gani ya msingi ya mpiga sauti kama HiFi-GAN katika bomba la maandishi-hadi-hotuba?
Vokoda ni hatua ya mwisho ambayo huunganisha sampuli halisi za mawimbi kutoka kwa spectrogramu ya mel inayozalishwa na modeli ya akustika.
Kwa nini HiFi-GAN ina kasi zaidi kuliko vokoda ya awali ya WaveNet?
WaveNet ilitengeneza sampuli za sauti kwa sampuli (moja kwa moja), huku jenereta ya usambazaji wa mbele ya HiFi-GAN ikitoa muundo wa wimbi kwa mlio mmoja, na kufikia kasi ya kasi zaidi kuliko ya wakati halisi.
Kibaguzi wa Vipindi Vingi cha HiFi-GAN husaidia nini hasa kunasa?
Kibaguzi wa Vipindi Vingi huunda upya muundo wa wimbi la 1D kuwa 2D kwa kutumia vipindi vilivyo na nambari kuu ili kugundua muundo wa muda unaohusishwa na sauti.
Vokoda za GAN hufunzwa 'kinyume.' Hiyo ina maana gani hapa?
Katika usanidi wa GAN, jenereta hujifunza kutengeneza miundo ya mawimbi inayowezekana ili kudanganya mitandao ya kibaguzi iliyofunzwa kusema halisi kutoka kwa sauti ya sintetiki.
Ni vokoda gani ya baadaye inayopanua HiFi-GAN ili kujumlisha vyema sauti, uimbaji na ala zisizoonekana?
BigVGAN huongeza HiFi-GAN na kuongeza uanzishaji wa mara kwa mara dhidi ya kutengwa, kuboresha ujanibishaji wa sauti ambazo hazijasambazwa kama vile kuimba na ala.
Endelea kujifunza
Miongozo inayohusiana
Miongozo zaidi imechaguliwa kwa mada hii