VITS Dhammaadka-ilaa-Dhamaadka Hadalka
VITS waa qaab qoraal-ku-hadal ah oo si toos ah qoraalka ugu beddela qaab-mawjadaha maqalka cayriin ee hal nidaam oo tababaran, isaga oo ka boodaya dhuumaha caadiga ah ee laba-heer.
Dulmar
By combining variational inference with adversarial training, it produces remarkably natural, expressive speech.
quusid qoto dheer
VITS (Faragelinta kala duwan ee barashada iska hor imaadka ee dhamaadka-ilaa-dhamaadka Qoraalka-ku-hadalka), oo ay soo bandhigeen Kim, Kong, iyo Son sanadka 2021, waxay isku daraysaa saddex fikradood oo nidaamyadii hore ay kala fogeeyeen. Shuruudaha kala duwanaanshaha autoencoder (VAE) wuxuu bartaa matalaad daahsoon ee hadalka, caadi ka dhigida qulqulka ayaa ka dhigaysa qaybinta dahsoon mid dabacsan oo ku filan si ay u qabato tafaasiisha dhawaaqa wanaagsan, iyo takoorida qaabka GAN ayaa u riixaya qaab-dhismeedka mawjadaha dhinaca xaqiiqada. Muhiimad gaar ah, VITS waxay u tababartaa moodelka dhawaaqa iyo cod-bixiyaha si wadajir ah halkii ay ahaan lahaayeen laba marxaladood, iyaga oo meesha ka saaraya is-waafajinta tayada hoosaysa marka cutubyada si gaar ah loo tababaro. Waxa kale oo ay soo bandhigtaa saadaalinta muddada stochastic, sidaas darteed jumlad isku mid ah ayaa lagu hadli karaa noocyo kala duwan, dhawaaq dabiici ah mar kasta.
Aragtida Farsamada
VITS waxa ay ku xallisaa dhibka isku xidhka ee Monotonic Alignment Search (MAS), kaas oo ka hela khariidaynta ugu fiican ee u dhaxaysa calaamada qoraalka iyo fiirada maqalka inta lagu jiro tababarka iyada oo aan lahayn toosiye dibadeed. Xagga dambe ee VAE waxaa laga soo xisaabiyay maqalka dhabta ah, halka shuruudihii hore ee qoraalka lagu beddelay qaab socodka caadiga ah si loo waafajiyo. Marka la eego, waxaad muunad ka soo qaadaysaa qoraalka ka hor oo si toos ah u dejinaysaa qaab mawjada, markaa looma baahna mel-spectrogram gaar ah iyo codad gaar ah looma baahna.
Saamaynta Istiraatijiyadeed
Helitaanka iyo gaarsiinta
Waxay wanaajisaa marin u helida iyada oo loo marayo qoraal-qorid, sheeko, iyo is-dhexgalyo cod.
Qiimaha iyo miisaaniyada
Kooxaha warbaahintu waxay ku soo rari karaan codka sifaysan si degdeg ah iyagoo wata miisaaniyado yaryar.
Xawaaraha iyo miisaanka
Nidaamyada u jeedda macmiisha waxay ka baaraandegi karaan isdhexgalka hadalka si weyn.
Mustaqbalka VITS-ka-dhammaad-ilaa-dhamaadka Hadalka
VITS waxa ay dhaleen qoys dhaxal-gal ah oo maamula isha furan ee TTS. VITS2 waxa ay fududaysay qaab dhismeedka iyo dabiiciga oo wanaajiyay, halka YourTTS iyo Coqui XTTS oo si weyn loo isticmaalo ay kordhiyeen habka loo xidho cod eber ah iyo luuqado badan. Filo shaqada sii socota ee fudud, kala duwanaanta qalabka-waqtiga-dhabta ah, caynsanaanta luqadaha badan ee ka wanaagsan luqadaha kheyraadka hooseeya, iyo xakamaynta adag ee shucuurta iyo qaabka hadalka, maadaama naqshadda dhamaadka-ilaa-dhamaadka ay tahay mid soo jiidasho leh, oo si fiican loo fahmay aasaaska lagu dhisayo.
Dhaqangelinta Adduunka-dhabta ah
Coqui TTS waxay soo dirtaa moodooyinka ku saleysan VITS ee soo saara si fiican u habeynaya si ay u xiraan cod sheeko gaar ah oo loogu talagalay buugaagta maqalka.
Kaaliyeyaasha codka il furan ee Raspberry Pi-class hardware waxay isticmaalaan moodooyinka VITS ee kooban si ay u soo saaraan hadalka tooska ah ee tooska ah.
Barnaamijyada barashada luuqada waxay dhaliyaan tusaalooyin ku dhawaaqida dabiiciga ah iyagoo isticmaalaya VITS luuqado badan sida YourTTS.
Istuudiyaha ciyaarta Indie waxay soo saaraan khadadka wada hadalka NPC ee kala duwan, iyagoo ku tiirsan saadaasha muddada stochasticka ee laxanka aan-robotic-ka ahayn.
Khatarta & Dariiqyada Ilaalada
Si xun u isticmaalka codka iyo khataraha is-yeelyeelku way kordhaan marka oggolaanshaha la waayo.
Saxnimadu waxay hoos ugu dhici kartaa lahjadaha, lahjadaha, ama jawiga buuqa badan.
Maqalka synthetic waxaa lagu khaldi karaa hadal dhab ah iyada oo aan si cad loo calaamadin.
Qorshe Hawleedka Dhaqangelinta
Hel ogolaansho cad oo ku saabsan qabashada codka, xidhitaanka, iyo dib u isticmaalka
Tijaabi tayada ku hadasha kala duwan iyo xaaladaha asalka.
Qeex marka bani'aadamku ay tahay inuu dib u eego ama oggolaado wax soo saarka.
Ku calaamadee codka synthetic oo xafid diiwaannada la-xisaabtanka.
Sii wad Sahaminta
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the VITS End-to-End Speech Synthesis quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hagaha xiga
Isku-xidhka Hadalka Dareenka
Su'aalaha soo noqnoqda
What is VITS End-to-End Speech Synthesis?
VITS waa qaab qoraal-ku-hadal ah oo si toos ah qoraalka ugu beddela qaab-mawjadaha maqalka cayriin ee hal nidaam oo tababaran, isaga oo ka boodaya dhuumaha caadiga ah ee laba-heer. Marka la isku daro kala duwanaansho kala duwanaansho iyo tababar iska soo horjeeda, waxay soo saartaa hadal dabiici ah oo cajiib ah.
Muxuu u taagan yahay erayga gaabin VITS?
VITS waxay u taagan tahay kala duwanaansho kala duwanaansho leh oo leh barashada iska hor imaadka ee dhamaadka-ilaa-dhamaadka Qoraal-ilaa-Hadal, taasoo ka tarjumaysa saddexda maaddooyinka asaasiga ah.
Waa maxay farqiga ugu weyn ee qaab dhismeedka u dhexeeya VITS iyo dhuumaha dhaqameed ee TTS?
VITS waa dhamaadka-ilaa-dhamaadka: waxay ku barataa qaab-qoraalka-ilaa-mawjad hal moodel ah, iyadoo ka fogaanaysa is-waafajinta moodeel cod-bixineed oo gaar ah.
Sidee VITS u bartaa isku toosinta u dhaxaysa qoraalada iyo sawirada maqalka?
VITS waxay adeegsataa Raadinta Tooska ah ee Monotonic si ay u ogaato toosinta qoraalka-ilaa-qaabka ugu wanaagsan gudaha, iyada oo aan loo baahnayn toosiye dibadeed.
Waa maxay sababta VITS ay ugu jirto saadaasha muddada stochastic?
Saadaasha muddada stochastic waxay u oggolaanaysaa isla jumlada in lagu hadlo qaafiyad dabiici ah oo kala duwan, iyadoo laga fogaanayo mid siman oo robot ah.
Qaybtee ayaa ku riixaysa wax-soo-saarka VITS xagga maqalka dhawaaqa dhabta ah?
VITS waxay isticmaashaa tababbarka iska hor imaadka (GAN), halkaas oo takooridhu ku xukumo in mowjadyadu ay run yihiin iyo in kale