Audio AI GUIDE

Nchịkọta Okwu Ọgwụgwụ ruo na Ọgwụgwụ VITS

VITS bụ ụdị ederede gaa na-okwu nke na-atụgharị ederede ozugbo ka ọ bụrụ ụdị ebili mmiri dị egwu n'otu sistemu a zụrụ azụ, na-amapụ ọkpọkọ ụzọ abụọ a na-emebu.

Nchịkọta

VITS bụ ụdị ederede gaa na-okwu nke na-atụgharị ederede ozugbo ka ọ bụrụ ụdị ebili mmiri dị egwu n'otu sistemu a zụrụ azụ, na-amapụ ọkpọkọ ụzọ abụọ a na-emebu. Site na ijikọta ntule dị iche iche na ọzụzụ mmegide, ọ na-ewepụta okwu ebumpụta ụwa n'ụzọ pụtara ìhè.

Nchịkọta Okwu Ọgwụgwụ-na-Ọgwụgwụ VITS na-anọdụ n'usoro ọrụ ọdịyo-AI nke na-agbanwe okwu, egwu, na ụda maka nzikọrịta ozi, nnweta na mmepụta mgbasa ozi.

Ime miri emi

VITS (Ntuba dị iche iche na mmụta ịta ahụhụ maka ngwụcha ruo ọgwụgwụ Text-to-Speech), nke Kim, Kong na Son webatara na 2021, jikọtara echiche atọ nke sistemu ochie debere iche. Onye na-ahụ maka ọnọdụ dị iche iche autoencoder (VAE) na-amụta nnochite anya okwu, na-eme ka mmiri na-edozi ahụ na-eme ka nkesa ahụ dị nro na-agbanwe nke ọma iji jide nkọwa ụda dị mma, na onye na-akpa ókè ụdị GAN na-akwali ụdị ebili mmiri na-emepụta n'eziokwu. N'ụzọ dị mkpa, VITS na-azụ ụdị ụda olu na ụda olu ọnụ karịa ka usoro abụọ, na-ewepụ ndakọrịta nke na-eweda ogo mgbe a zụrụ modul iche iche. Ọ na-ewebatakwa amụma ogologo oge stochastic, yabụ enwere ike iji otu mkpụrụokwu dị iche iche na-ada ụda oge ọ bụla.

Nghọta nka nka

VITS na-eji Monotonic Alignment Search (MAS) dozie nsogbu nhazigharị ahụ, nke na-achọpụta eserese kacha mma n'etiti akara ederede na okpokolo agba n'oge ọzụzụ na-enweghị ndị na-eme ihe na mpụga. A na-agbakọ azụ VAE site na ọdịyo ahụ n'ezie, ebe a na-emezigharị ọnọdụ ederede tupu oge eruo site na ịhazigharị mmiri na-aga ka ọ kwekọọ. Na ntinye, ị ga-enyocha site na ederede tupu ma decode ozugbo ka ọ bụrụ usoro ifegharị, yabụ enweghị mel-spectrogram dị iche na enweghị vocoder dị iche achọrọ.

Ịmụta nchịkọta okwu ngwụcha ruo na ngwụcha VITS

VITS bụ ụdị ederede gaa na-okwu nke na-atụgharị ederede ozugbo ka ọ bụrụ ụdị ebili mmiri dị egwu n'otu sistemu a zụrụ azụ, na-amapụ ọkpọkọ ụzọ abụọ a na-emebu. Site na ijikọta ntule dị iche iche na ọzụzụ mmegide, ọ na-ewepụta okwu ebumpụta ụwa n'ụzọ pụtara ìhè. Nchịkọta Okwu Ọgwụgwụ-na-Ọgwụgwụ VITS na-anọdụ n'usoro ọrụ ọdịyo-AI nke na-agbanwe okwu, egwu, na ụda maka nzikọrịta ozi, nnweta na mmepụta mgbasa ozi. Iji wulite nghọta miri emi, na-emeso Synthesis Okwu Ọgwụgwụ-Na-Ọgwụgwụ VITS dị ka ihe nlereanya na-arụ ọrụ, ọ bụghị otu njirimara: kọwaa nsonaazụ achọrọ, dokwuo anya echiche, kewaa ihe sistemụ nwere ike ime nke ọma na ihe ka chọrọ mkpebi ndị ọkachamara.

Na omume, otu ndị siri ike na-eji VITS Ọgwụgwụ-na-Ọgwụgwụ Okwu Synthesis na-emeso ịdịmma, latency, na nkwenye dị ka akụkụ dị mkpa nke atụmatụ mbughari. Ha na-edepụta njirisi ịga nke ọma nke ọma, nwalee megide data ziri ezi yana usoro ọrụ, yana na-atụgharị dabere na usoro ọdịda ahụrụ karịa karịa mmeri otu oge. Nke a bụ ebe nghọta usoro ihe atụ na-atụgharị ghọọ ike na-adịgide adịgide n'ofe ngwaahịa, amụma na arụmọrụ.

Ọ na-eme ka nnweta ya dịkwuo mma site na ndegharị, ịkọ akụkọ, na ntụgharị olu. N'otu oge ahụ, iji olu eme ihe n'ụzọ na-ezighị ezi na ihe egwu mpụta ga-abawanye mgbe nkwenye na-efu. Ụzọ kachasị na-agbanwe agbanwe bụ ijikọ ọsọ nnwale na ịdọ aka ná ntị ọchịchị: ndị na-anya ụgbọ elu, ijide ihe akaebe, bipụta ndekọ mkpebi, na na-aga n'ihu na-emelite nchekwa dị ka omume nlereanya, atụmanya ndị ọrụ, na ihe iwu chọrọ.

Mmetụta atụmatụ

Ọ na-eme ka nnweta ya dịkwuo mma site na ndegharị, ịkọ akụkọ, na ntụgharị olu.

Ọ na-eme ka nnweta ya dịkwuo mma site na ndegharị, ịkọ akụkọ, na ntụgharị olu. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.

Ndị otu mgbasa ozi nwere ike ibubata ọdịyo a na-egbu maramara ngwa ngwa site na iji obere mmefu ego.

Ndị otu mgbasa ozi nwere ike ibubata ọdịyo a na-egbu maramara ngwa ngwa site na iji obere mmefu ego. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.

Sistemụ na-eche ihu ndị ahịa nwere ike hazie mkparịta ụka n'ọtụtụ buru ibu.

Sistemụ na-eche ihu ndị ahịa nwere ike hazie mkparịta ụka n'ọtụtụ buru ibu. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.

Ọdịnihu nke nchịkọta okwu ngwụcha ruo na ngwụcha VITS

VITS zụlitere ezinụlọ nke ndị ga-anọchi anya nke na-achịkwa TTS mepere emepe. VITS2 mere ka ihe owuwu ahụ dị mfe na ịdị mma ka mma, ebe YourTTS na Coqui XTTS nke a na-ejikarị eme ihe na-agbatị ụzọ iji nweta ụda olu efu na ọtụtụ asụsụ. Na-atụ anya ka a na-arụ ọrụ dị iche iche dị mfe, ezigbo oge na ngwaọrụ, mkpuchi ọtụtụ asụsụ ka mma maka asụsụ ndị dị ala, yana ịchịkwa mmetụta mmetụta uche na ụdị ikwu okwu, ebe ọ bụ na njedebe na njedebe bụ ihe mara mma, ntọala ghọtara nke ọma iji wuo ya.

Mmejuputa n'ezie n'ụwa

Coqui TTS na-ebufe ụdị dabere na VITS nke ndị mmepe na-emezigharị nke ọma iji mechie olu onye na-akọ akụkọ maka akwụkwọ ọdịyo.

Ndị enyemaka olu mepere emepe na ngwa Raspberry Pi-class na-eji ụdị VITS kọmpat maka mmepụta okwu na-anọghị n'ịntanetị zuru oke.

Ngwa mmụta asụsụ na-ewepụta ọmụmaatụ ịkpọ okwu okike site na iji ụdị VITS ọtụtụ asụsụ dị ka YourTTS.

Studioslọ egwuregwu egwuregwu Indie na-emepụta ahịrị mkparịta ụka NPC dị iche iche, na-adabere na amụma oge stochastic maka ụda na-abụghị nke robotic.

Usoro mmejuputa

Nchịkọta Okwu Ọgwụgwụ-Na-Ọgwụgwụ VITS na omume

Coqui TTS na-ebufe ụdị dabere na VITS nke ndị mmepe na-emezigharị nke ọma iji mechie olu onye na-akọ akụkọ maka akwụkwọ ọdịyo.

Coqui TTS na-ebufe ụdị dabere na VITS nke ndị mmepe na-eme nke ọma iji mechie olu onye na-akọ akụkọ maka akwụkwọ ọdịyo Otu dị iche iche na-enweta nsonaazụ kacha mma mgbe ha na-akọwapụta ọnụ ụzọ dị mma n'ihu, na-echekwa ụzọ ịrị elu mmadụ maka ikpe ihu, wee soro ma uru nrụpụta yana ụgwọ njehie n'ime oge.

Nchịkọta Okwu Ọgwụgwụ-Na-Ọgwụgwụ VITS na omume

Ndị enyemaka olu mepere emepe na ngwa Raspberry Pi-class na-eji ụdị VITS kọmpat maka mmepụta okwu na-anọghị n'ịntanetị zuru oke.

Ndị enyemaka olu mepere emepe na Raspberry Pi-class hardware na-eji ụdị VITS kọmpat maka mmepụta okwu na-anọghị n'ịntanetị na-enwetakarị nsonaazụ kacha mma mgbe ha kọwapụtara ọnụ ụzọ dị mma n'ihu, debe ụzọ mmụba mmadụ maka ikpe ọnụ, ma soro ma uru nrụpụta yana ọnụ ahịa njehie ka oge na-aga.

Nchịkọta Okwu Ọgwụgwụ-Na-Ọgwụgwụ VITS na omume

Ngwa mmụta asụsụ na-ewepụta ọmụmaatụ ịkpọ okwu okike site na iji ụdị VITS ọtụtụ asụsụ dị ka YourTTS.

Ngwa mmụta mmụta asụsụ na-emepụta ihe atụ ịkpọ okwu sitere n'okike site na iji ụdị VITS dị iche iche dị ka ndị otu TTS gị na-enwetakarị nsonaazụ kacha mma mgbe ha kọwapụtara ọnụ ụzọ dị mma n'ihu, debe ụzọ mmụba mmadụ maka ikpe ikpe, ma soro ma uru nrụpụta yana ụgwọ njehie ka oge na-aga.

Nchịkọta Okwu Ọgwụgwụ-Na-Ọgwụgwụ VITS na omume

Studioslọ egwuregwu egwuregwu Indie na-emepụta ahịrị mkparịta ụka NPC dị iche iche, na-adabere na amụma oge stochastic maka ụda na-abụghị nke robotic.

Ụlọ ihe nkiri egwuregwu Indie na-emepụta ahịrị mkparịta ụka NPC dị iche iche, na-adabere na amụma oge stochastic maka ndị na-abụghị ndị na-eme egwuregwu na-enwekarị nsonaazụ ka mma mgbe ha na-akọwapụta ọnụ ụzọ dị mma n'ihu, na-eme ka ụzọ mmadụ dịkwuo elu maka ikpe ikpe, ma soro ma uru mmepụta na ụgwọ njehie na oge.

Ihe ize ndụ & okporo ụzọ nche

!

Iji olu eme ihe na ihe egwu mpụta ga-abawanye mgbe nkwenye na-efu.

!

Izi ezi nwere ike ịdaba n'ofe ụda olu, olumba ma ọ bụ gburugburu mkpọtụ.

!

Enwere ike imehie ọdịyo sịntetik dị ka ezigbo okwu na-enweghị akara doro anya.

Map mmejuputa

1

Nweta nkwenye doro anya maka ijide olu, imechi, na ijigharị.

Nweta nkwenye doro anya maka ijide olu, imechi, na ijigharị. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.

2

Nwale ogo n'ofe ndị na-ekwu okwu dị iche iche yana ọnọdụ ndabere.

Nwale ogo n'ofe ndị na-ekwu okwu dị iche iche yana ọnọdụ ndabere. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.

3

Kọwaa mgbe mmadụ ga-enyocha ma ọ bụ kwado nsonye.

Kọwaa mgbe mmadụ ga-enyocha ma ọ bụ kwado nsonye. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.

4

Deba aha ọdịyo sịntetik ma debe ndekọ ihe ndekọ maka ịza ajụjụ.

Deba aha ọdịyo sịntetik ma debe ndekọ ihe ndekọ maka ịza ajụjụ. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.

Nọgide na-eme nchọpụta