Nchịkọta
StyleTTS 2 bụ ụdị ederede gaa na-okwu nke na-emeso 'ụkpụrụ' olu - prosody, mmetụta, na timbre ọkà okwu - dị ka mgbanwe na-enweghị atụ nke ejiri ụdị mgbasa ozi, wee jikọta ọdịyo na ọzụzụ mmegide megide nnukwu ụdị asụsụ okwu. Ọ dị mkpa n'ihi na ọ ruru ogo mmadụ na akara nrịbama otu okwu na-achọghị obere nrụtụ aka n'oge ntụgharị.
Mgbasa ụdị StyleTTS 2 na-anọdụ n'usoro ọrụ ọdịyo-AI nke na-agbanwe okwu, egwu, na ụda maka nkwukọrịta, nnweta na mmepụta mgbasa ozi.
Ime miri emi
StyleTTS 2, nke ndị nyocha na Mahadum Columbia wepụtara na 2023, na-ewepụta okwu site n'ịtụle ụdị 'vector' nke latent site na iji usoro mgbasa ozi etinyere naanị na ederede ntinye, wee dezie ụdị ahụ gbakwunyere fọnịm n'ime usoro ifegharị. Ụdị vector na-achịkwa ihe niile edeghị n'ime ederede: ọnụ ọgụgụ okwu, contour innation, nkwụsịtụ, na agba mmetụta uche. N'ụzọ dị mkpa, ọ na-agbakwụnye ọzụzụ mmegide na nnukwu ụdị asụsụ a zụrụ azụ (WavLM) dị ka ndị ịkpa oke, na-akpali mmepụta ahụ gaa n'ezie ụda mmadụ na-ada ụda. Na benchmark LJSpeech ọ karịrị ndekọ mmadụ na ọkwa ndị na-ege ntị, yana na ọtụtụ ndị na-ekwu okwu LibriTTS setịpụrụ ya dakọtara eziokwu n'ala - ihe dị ịrịba ama maka àgwà TTS akwara njedebe na njedebe.
Nghọta nka nka
The isi aghụghọ bụ ụdị mgbasa: kama ịkọ otu ofu prosody, StyleTTS 2 ụdị style dị ka ihe gbasara nke puru omume nkesa na samples si na ya site a diffusion nlereanya na-agba ọsọ na a ala-akụkụ latent ohere, otú ahụ otu ahịrịokwu nwere ike na-ekwu ọtụtụ eke ụzọ. Ọgwụgwụ ruo n'ọgwụgwụ, amụma ogologo oge, ihe ngbanwe ụdị, decoder, na onye mmegide mmegide dabere na WavLM ka a zụrụ azụ, na-eme ka gradients na-esi na ogo waveform laghachi azụ site na pipeline dum.
Mastering StyleTTS 2 Mgbasa ụdịdị
StyleTTS 2 bụ ụdị ederede gaa na-okwu nke na-emeso 'ụkpụrụ' olu - prosody, mmetụta, na timbre ọkà okwu - dị ka mgbanwe na-enweghị atụ nke ejiri ụdị mgbasa ozi, wee jikọta ọdịyo na ọzụzụ mmegide megide nnukwu ụdị asụsụ okwu. Ọ dị mkpa n'ihi na ọ ruru ogo mmadụ na akara nrịbama otu okwu na-achọghị obere nrụtụ aka n'oge ntụgharị. Mgbasa ụdị StyleTTS 2 na-anọdụ n'usoro ọrụ ọdịyo-AI nke na-agbanwe okwu, egwu, na ụda maka nkwukọrịta, nnweta na mmepụta mgbasa ozi. Iji wuo nghọta miri emi, mesoo StyleTTS 2 Style Diffusion dị ka ihe nlere arụ ọrụ, ọ bụghị otu njirimara: kọwaa nsonaazụ achọrọ, dokwuo anya echiche, kewaa ihe sistemụ nwere ike ime nke ọma na ihe ka na-achọ mkpebi ndị ọkachamara.
Na omume, ndị otu siri ike na-eji StyleTTS 2 Style Diffusion na-emeso ịdịmma, latency, na nkwenye dị ka akụkụ dị mkpa nke atụmatụ mbugharị. Ha na-edepụta njirisi ịga nke ọma nke ọma, nwalee megide data ziri ezi yana usoro ọrụ, yana na-atụgharị dabere na usoro ọdịda ahụrụ karịa karịa mmeri otu oge. Nke a bụ ebe nghọta usoro ihe atụ na-atụgharị ka ọ bụrụ ike na-adịgide adịgide gafee ngwaahịa, amụma na arụmọrụ.
Ọ na-eme ka nnweta ya dịkwuo mma site na ndegharị, ịkọ akụkọ, na ntụgharị olu. N'otu oge ahụ, iji olu eme ihe n'ụzọ na-ezighị ezi na ihe egwu mpụta ga-abawanye mgbe nkwenye na-efu. Ụzọ kachasị na-agbanwe agbanwe bụ ijikọ ọsọ nnwale na ịdọ aka ná ntị ọchịchị: ndị na-anya ụgbọ elu, ijide ihe akaebe, bipụta ndekọ mkpebi, na na-aga n'ihu na-emelite nchekwa dị ka omume nlereanya, atụmanya ndị ọrụ, na ihe iwu chọrọ.
Mmetụta Strategic
Ọ na-eme ka nnweta ya dịkwuo mma site na ndegharị, ịkọ akụkọ, na ntụgharị olu.
Ọ na-eme ka nnweta ya dịkwuo mma site na ndegharị, ịkọ akụkọ, na ntụgharị olu. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.
Ndị otu mgbasa ozi nwere ike ibubata ọdịyo a na-egbu maramara ngwa ngwa site na iji obere mmefu ego.
Ndị otu mgbasa ozi nwere ike ibubata ọdịyo a na-egbu maramara ngwa ngwa site na iji obere mmefu ego. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.
Sistemụ na-eche ihu ndị ahịa nwere ike hazie mkparịta ụka n'ọtụtụ buru ibu.
Sistemụ na-eche ihu ndị ahịa nwere ike hazie mkparịta ụka n'ọtụtụ buru ibu. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.
Mmejuputa n'ezie n'ụwa
Ịmepụta akwụkwọ akụkọ ọdịyo ebe otu ọkà okwu na-adịgasị iche iche n'ofe isiakwụkwọ kama ị na-ada ụda monotone
Na-ewepụta olu agwa agwa maka egwuregwu indie na animation na-eweghị ọtụtụ ndị na-eme olu olu
Ndị na-agụ ihuenyo ohere ịnweta ike nke na-ada ụda mmadụ zuru oke maka ige ntị ogologo oge
Ịmepụta ụda olu mmụta e-mmụta mpaghara nwere nkwusi ike sitere n'okike na imegharị site na ederede ederede dị larịị
Usoro mmejuputa
StyleTTS 2 Mgbasa ụdị na omume
Ịmepụta akwụkwọ akụkọ ọdịyo ebe otu ọkà okwu na-adịgasị iche iche n'ofe isiakwụkwọ kama ị na-ada ụda monotone.
Ịmepụta akwụkwọ akụkọ ọdịyo ebe otu onye na-ekwu okwu na-adịgasị iche iche n'ofe isi kama ịkpọ ụda monotone Otu egwuregwu na-enwetakarị nsonaazụ kacha mma mgbe ha na-akọwapụta ọnụ ụzọ dị mma n'ihu, na-echekwa ụzọ ịrị elu mmadụ maka ikpe ikpe, ma soro ma uru nrụpụta yana ụgwọ njehie n'oge.
StyleTTS 2 Mgbasa ụdị na omume
Na-ewepụta olu agwa agwa maka egwuregwu indie na animation na-eweghị ọtụtụ ndị na-eme olu olu.
Ịmepụta ụda agwa agwa maka egwuregwu indie na animation na-enweghị iwere ọtụtụ ndị na-eme olu olu Otu egwuregwu na-enwetakarị nsonaazụ ka mma mgbe ha na-akọwapụta ọnụ ụzọ dị mma n'ihu, na-eme ka ụzọ mmadụ si abawanye maka oke ikpe, ma soro ma uru nrụpụta na ụgwọ njehie n'ime oge.
StyleTTS 2 Mgbasa ụdị na omume
Ndị na-agụ ihuenyo ohere ịnweta ike nke na-ada ụda mmadụ zuru oke maka ige ntị ogologo oge.
Ndị na-agụ ihuenyo ohere ịnweta ike nke na-ada ụda mmadụ zuru oke maka ịge ntị ogologo oge Otu ìgwè na-enwetakarị nsonaazụ ka mma mgbe ha na-akọwapụta ọnụ ụzọ dị mma n'ihu, na-eme ka ụzọ mmadụ dịkwuo elu maka ikpe ikpe, ma soro ma uru nrụpụta na ụgwọ njehie na-aga n'ihu oge.
StyleTTS 2 Mgbasa ụdị na omume
Ịmepụta ụda olu mmụta e-mmụta mpaghara nwere nkwusi ike sitere n'okike na imegharị site na ederede ederede dị larịị.
Ịmepụta ụda olu e-ịmụta mpaghara na-emesi ike na nkwụsi ike site na ederede ederede doro anya Otu dị iche iche na-enwetakarị nsonaazụ ka mma mgbe ha na-akọwapụta ọnụ ụzọ dị mma n'ihu, na-edebe ụzọ mmụba mmadụ maka ikpe ikpe, ma soro ma uru mmepụta yana ụgwọ njehie na oge.
Ihe ize ndụ & okporo ụzọ nche
Iji olu eme ihe na ihe egwu mpụta ga-abawanye mgbe nkwenye na-efu.
Izi ezi nwere ike ịdaba n'ofe ụda olu, olumba ma ọ bụ gburugburu mkpọtụ.
Enwere ike imehie ọdịyo sịntetik dị ka ezigbo okwu na-enweghị akara doro anya.
Map mmejuputa
Nweta nkwenye doro anya maka ijide olu, imechi, na ijigharị.
Nweta nkwenye doro anya maka ijide olu, imechi, na ijigharị. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.
Nwale ogo n'ofe ndị na-ekwu okwu dị iche iche yana ọnọdụ ndabere.
Nwale ogo n'ofe ndị na-ekwu okwu dị iche iche yana ọnọdụ ndabere. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.
Kọwaa mgbe mmadụ ga-enyocha ma ọ bụ kwado nsonye.
Kọwaa mgbe mmadụ ga-enyocha ma ọ bụ kwado nsonye. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.
Deba aha ọdịyo sịntetik ma debe ndekọ ihe ndekọ maka ịza ajụjụ.
Deba aha ọdịyo sịntetik ma debe ndekọ ihe ndekọ maka ịza ajụjụ. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.