Nchịkọta
VALL-E megharịrị ederede-gaa-okwu dị ka nsogbu nhazi asụsụ n'elu akara codec ọdịyo, na-eme ka mmechi olu site na naanị sekọnd atọ nke nlele. O gosiri na otu amụma amụma na-esote na-enye ike ederede LLM nwere ike iwepụta okwu ebumpụta ụwa n'ụzọ pụtara ìhè.
Ụdị Asụsụ VALL-E na Codec na-anọdụ n'usoro ọrụ ọdịyo-AI nke na-agbanwe okwu, egwu, na ụda maka nzikọrịta ozi, nnweta na mmepụta mgbasa ozi.
Ime miri emi
Nke Microsoft mara ọkwa na mbido 2023, VALL-E na-ewere nhazi okwu dịka nhazi asụsụ. Kama ibu amụma spectrogram, ọ na-ebu amụma akara ụda olu pụrụ iche nke codec neural (EnCodec), yabụ ọgbọ na-aghọ amụma na-esote akara maka okwu ọdịyo. Nyere ndekọ nke abụọ nke abụọ nke ọkà okwu a na-adịghị ahụ anya gbakwunyere ederede ebumnuche, VALL-E na-aga n'ihu n'olu ọkà okwu ahụ, na-echekwa timbre na ọbụna gburugburu ụda olu. A zụrụ ya n'ihe dị ka awa 60,000 nke ikwu okwu, nke ukwuu karịa ụdị datasets TTS, nke nyere ya cloning na-enweghị atụ. N'ihi codec tokens na-layeded (site na RVQ), VALL-E na-eji abụọ nkebi: autoregressive nlereanya na-ebu amụma nke mbụ, keadighi rarii token iyi oyi na ozugbo, na-abụghị autoregressive nlereanya na-ejuputa na fọdụrụ nkọwa token. Ntụziaka codec-LM a kpaliri ndị ga-anọchi anya VALL-E 2 na ọtụtụ ụdị ntọala okwu.
Nghọta nka nka
Aghụghọ a bụ ngbanwe ngwakọ n'elu akara codecs hierarchical. The autoregressive ogbo na-ebu amụma ndị kasị mkpa kasị mkpa-codebook token otu n'otu oge, na-ewere prosody na ọdịnaya. A na-ebu amụma akwụkwọ koodu ndị fọdụrụnụ, bụ́ ndị na-agbakwụnye nkọwapụta ụda dị mma, n'otu aka ahụ site na ihe nlere na-abụghị nke autoregressive kwadoro na iyi nke mbụ yana ngwa ngwa ọkà okwu. Nkewa nke a na-eme ka ịdịmma ya dị elu ma na-ezere ọnụ ahịa nke imepụta akara ngosi ọ bụla n'usoro, yana iji codec pụtara enwere ike iji otu igwe ihe ngbanwe were were ụdị okwu na ederede.
Ịmata VALL-E na Ụdị Asụsụ Codec
VALL-E megharịrị ederede-gaa-okwu dị ka nsogbu nhazi asụsụ n'elu akara codec ọdịyo, na-eme ka mmechi olu site na naanị sekọnd atọ nke nlele. O gosiri na otu amụma amụma na-esote na-enye ike ederede LLM nwere ike iwepụta okwu ebumpụta ụwa n'ụzọ pụtara ìhè. Ụdị Asụsụ VALL-E na Codec na-anọdụ n'usoro ọrụ ọdịyo-AI nke na-agbanwe okwu, egwu, na ụda maka nzikọrịta ozi, nnweta na mmepụta mgbasa ozi. Iji wulite nghọta miri emi, na-emeso VALL-E na Ụdị Asụsụ Codec dị ka ihe nlere anya na-arụ ọrụ, ọ bụghị otu njirimara: kọwaa nsonaazụ achọrọ, dokwuo anya echiche, ma kewaa ihe usoro ahụ nwere ike ime nke ọma na ihe ka na-achọ mkpebi ndị ọkachamara.
Na omume, ndị otu siri ike na-eji VALL-E na Ụdị Asụsụ Codec na-ewere ịdịmma, nkwụsịtụ, na nkwenye dị ka akụkụ dị mkpa nke atụmatụ mbugharị. Ha na-edepụta njirisi ịga nke ọma nke ọma, nwalee megide data ziri ezi yana usoro ọrụ, yana na-atụgharị dabere na usoro ọdịda ahụrụ karịa karịa mmeri otu oge. Nke a bụ ebe nghọta usoro ihe atụ na-atụgharị ghọọ ike na-adịgide adịgide n'ofe ngwaahịa, amụma na arụmọrụ.
Ọ na-eme ka nnweta ya dịkwuo mma site na ndegharị, ịkọ akụkọ, na ntụgharị olu. N'otu oge ahụ, iji olu eme ihe n'ụzọ na-ezighị ezi na ihe egwu mpụta ga-abawanye mgbe nkwenye na-efu. Ụzọ kachasị na-agbanwe agbanwe bụ ijikọ ọsọ nnwale na ịdọ aka ná ntị ọchịchị: ndị na-anya ụgbọ elu, ijide ihe akaebe, bipụta ndekọ mkpebi, na na-aga n'ihu na-emelite nchekwa dị ka omume nlereanya, atụmanya ndị ọrụ, na ihe iwu chọrọ.
Mmetụta atụmatụ
Ọ na-eme ka nnweta ya dịkwuo mma site na ndegharị, ịkọ akụkọ, na ntụgharị olu.
Ọ na-eme ka nnweta ya dịkwuo mma site na ndegharị, ịkọ akụkọ, na ntụgharị olu. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.
Ndị otu mgbasa ozi nwere ike ibubata ọdịyo a na-egbu maramara ngwa ngwa site na iji obere mmefu ego.
Ndị otu mgbasa ozi nwere ike ibubata ọdịyo a na-egbu maramara ngwa ngwa site na iji obere mmefu ego. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.
Sistemụ na-eche ihu ndị ahịa nwere ike hazie mkparịta ụka n'ọtụtụ buru ibu.
Sistemụ na-eche ihu ndị ahịa nwere ike hazie mkparịta ụka n'ọtụtụ buru ibu. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.
Mmejuputa n'ezie n'ụwa
Imechi olu site na sekọnd ole na ole nke ọdịyo maka ndị enyemaka ahaziri ahazi ma ọ bụ ngwaọrụ nnweta na-eweghachi olu furu efu
Ịkpọsa na ịtụgharị vidiyo n'asụsụ ndị ọzọ ka ị na-edobe timbre nke ọkà okwu mbụ
Na-ewepụta akụkọ nkwuwapụta, dabara na okirikiri nke na-echekwa gburugburu ụda egwu ndekọ
Na-eje ozi dị ka ọkpụkpụ azụ okwu na ndị enyemaka multimodal na-aghọta ma na-emepụta ọdịyo a na-ekwu
Usoro mmejuputa
Ụdị Asụsụ VALL-E na Codec na omume
Imechi olu site na sekọnd ole na ole nke ọdịyo maka ndị enyemaka ahaziri ahazi ma ọ bụ ngwaọrụ nnweta na-eweghachi olu furu efu.
Imechi olu site na sekọnd ole na ole nke ọdịyo maka ndị enyemaka ahaziri ahazi ma ọ bụ ngwaọrụ nnweta na-eweghachite olu furu efu Otu egwuregwu na-enwetakarị nsonaazụ kacha mma mgbe ha kọwapụtara ọnụ ụzọ dị mma n'ihu, na-edobe ụzọ ịrị elu mmadụ maka ikpe ikpe, ma soro ma uru nrụpụta yana ụgwọ njehie ka oge na-aga.
Ụdị Asụsụ VALL-E na Codec na omume
Ịkpọsa na ịtụgharị vidiyo n'asụsụ ndị ọzọ ka ị na-edobe timbre nke ọkà okwu mbụ.
Ịmekọrịta na ịtụgharị vidiyo n'asụsụ ndị ọzọ ka ị na-edobe timbre nke onye na-ekwu okwu mbụ na-enwetakarị nsonaazụ kacha mma mgbe ha na-akọwapụta ọnụ ụzọ dị mma n'ihu, na-eme ka ụzọ mmadụ si abawanye maka ọnụ ahịa, ma soro ma uru mmepụta yana ụgwọ njehie na oge.
Ụdị Asụsụ VALL-E na Codec na omume
Na-ewepụta akụkọ nkwuwapụta, dabara na okirikiri nke na-echekwa gburugburu ụda egwu ndekọ.
Na-ewepụta akụkọ nkwuwapụta, dabara na gburugburu nke na-echekwa gburugburu ụda egwu ndekọ Otu dị iche iche na-enweta nsonaazụ kacha mma mgbe ha kọwapụtara ọnụ ụzọ dị mma n'ihu, na-edobe ụzọ ịrị elu mmadụ maka ikpe ikpe, ma soro ma uru nrụpụta yana ụgwọ njehie ka oge na-aga.
Ụdị Asụsụ VALL-E na Codec na omume
Na-eje ozi dị ka ọkpụkpụ azụ okwu na ndị enyemaka multimodal na-aghọta ma na-emepụta ọdịyo a na-ekwu.
Ije ozi dị ka ọkpụkpụ azụ okwu na ndị na-enyere aka multimodal na-aghọta ma na-emepụta ndị na-ege ntị na-ekwu okwu na-enwetakarị nsonaazụ ka mma mgbe ha na-akọwapụta ọnụ ụzọ dị mma n'ihu, na-eme ka ụzọ mmadụ dịkwuo elu maka ikpe ikpe, ma soro ma uru mmepụta na ụgwọ njehie na oge.
Ihe ize ndụ & okporo ụzọ nche
Iji olu eme ihe na ihe egwu mpụta ga-abawanye mgbe nkwenye na-efu.
Izi ezi nwere ike ịdaba n'ofe ụda olu, olumba ma ọ bụ gburugburu mkpọtụ.
Enwere ike imehie ọdịyo sịntetik dị ka ezigbo okwu na-enweghị akara doro anya.
Map mmejuputa
Nweta nkwenye doro anya maka ijide olu, imechi, na ijigharị.
Nweta nkwenye doro anya maka ijide olu, imechi, na ijigharị. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.
Nwale ogo n'ofe ndị na-ekwu okwu dị iche iche yana ọnọdụ ndabere.
Nwale ogo n'ofe ndị na-ekwu okwu dị iche iche yana ọnọdụ ndabere. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.
Kọwaa mgbe mmadụ ga-enyocha ma ọ bụ kwado nsonye.
Kọwaa mgbe mmadụ ga-enyocha ma ọ bụ kwado nsonye. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.
Deba aha ọdịyo sịntetik ma debe ndekọ ihe ndekọ maka ịza ajụjụ.
Deba aha ọdịyo sịntetik ma debe ndekọ ihe ndekọ maka ịza ajụjụ. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.