Nchịkọta
SoundStorm bụ ihe atụ ọgbọ ọdịyo Google nke na-ewepụta okwu na ụda n'otu n'otu karịa otu akara n'otu oge, na-eme njikọ ọdịyo dị elu nke ukwuu ngwa ngwa. Ọ dị mkpa n'ihi na ọ na-ebelata ike ọgwụgwụ nke ọgbọ maka obere vidiyo site na nkeji ruo sekọnd n'achụghị ntụkwasị obi.
SoundStorm Parallel Audio Generation na-anọdụ n'usoro ọdịyo-AI nke na-agbanwe okwu, egwu, na ụda maka nzikọrịta ozi, nnweta na mmepụta mgbasa ozi.
Ime miri emi
SoundStorm, nke Google webatara na 2023, na-ewepụta ọdịyo egosipụtara dị ka akara ụda olu pụrụ iche site na codec akwara akpọrọ SoundStream. Ụdị ndị mbụ dị ka AudioLM mepụtara akara ngosi ndị a na-akpaghị aka, na-ebu amụma nke ọ bụla n'usoro, nke na-adịghị ngwa ngwa maka ogologo ọdịyo. SoundStorm na-eji usoro na-abụghị nke onwe, dabere na nkpuchi agbaziri site na ụdị ọgbọ onyonyo dịka MaskGIT. Ọ na-amalite n'ọtụtụ n'ime ihe mkpuchi mkpuchi ma na-eju ha ugboro ugboro n'ọtụtụ usoro nhazi nhazi, na-ebu amụma ọtụtụ akara n'otu oge n'otu oge. Ejiri ya na akara semantic (site na ụdị dị ka AudioLM ma ọ bụ SPEAR-TTS), ọ nwere ike ịmepụta 30 sekọnd nke mkparịta ụka sitere n'okike n'ihe dị ka ọkara nke abụọ na TPU, ihe dị ka 100 ugboro ngwa ngwa karịa ntọala autoregressive mgbe ha na-adaba ogo ha na nkwukọrịta okwu.
Nghọta nka nka
SoundStorm na-egosiputa ọkwa nke residual vector quantization (RVQ) sitere na SoundStream. N'oge ọzụzụ, a na-ekpuchi akara ngosi na-enweghị usoro ma ihe nlereanya ahụ na-amụta ịkọ ha. N'ịtụle ya, ọ na-eme mkpebi ngbanwe dabere na ntụkwasị obi: n'usoro nke ọ bụla, ọ na-ebu amụma akara niile kpuchiri ekpuchi, na-edobe ndị kacha nwee ntụkwasị obi, wee megharịa ndị ọzọ. Ọ na-ebu ụzọ dekọọ ọkwa RVQ siri ike, emesia nke ka mma, na-erute ọdịyo zuru oke n'usoro dị obere karịa ọgbọ token site-token.
Ịmalite Ọgbọ ụda ụda ụda nke ụda Storm
SoundStorm bụ ihe atụ ọgbọ ọdịyo Google nke na-ewepụta okwu na ụda n'otu n'otu karịa otu akara n'otu oge, na-eme njikọ ọdịyo dị elu nke ukwuu ngwa ngwa. Ọ dị mkpa n'ihi na ọ na-ebelata ike ọgwụgwụ nke ọgbọ maka obere vidiyo site na nkeji ruo sekọnd n'achụghị ntụkwasị obi. SoundStorm Parallel Audio Generation na-anọdụ n'usoro ọdịyo-AI nke na-agbanwe okwu, egwu, na ụda maka nzikọrịta ozi, nnweta na mmepụta mgbasa ozi. Iji wulite nghọta miri emi, na-emeso SoundStorm Parallel Audio Generation dị ka ihe nlereanya na-arụ ọrụ, ọ bụghị otu njirimara: kọwaa nsonaazụ achọrọ, dokwuo anya echiche, ma kewaa ihe sistemụ nwere ike ime nke ọma na ihe ka chọrọ mkpebi ndị ọkachamara.
Na omume, otu ndị siri ike na-eji SoundStorm Parallel Audio Generation na-emeso ịdịmma, nkwụsịtụ, na nkwenye dị ka akụkụ dị mkpa nke atụmatụ mbugharị. Ha na-edepụta njirisi ịga nke ọma nke ọma, nwalee megide data ziri ezi yana usoro ọrụ, yana na-atụgharị dabere na usoro ọdịda ahụrụ karịa karịa mmeri otu oge. Nke a bụ ebe nghọta usoro ihe atụ na-atụgharị ghọọ ike na-adịgide adịgide n'ofe ngwaahịa, amụma na arụmọrụ.
Ọ na-eme ka nnweta ya dịkwuo mma site na ndegharị, ịkọ akụkọ, na ntụgharị olu. N'otu oge ahụ, iji olu eme ihe n'ụzọ na-ezighị ezi na ihe egwu mpụta ga-abawanye mgbe nkwenye na-efu. Ụzọ kachasị na-agbanwe agbanwe bụ ijikọ ọsọ nnwale na ịdọ aka ná ntị ọchịchị: ndị na-anya ụgbọ elu, ijide ihe akaebe, bipụta ndekọ mkpebi, na na-aga n'ihu na-emelite nchekwa dị ka omume nlereanya, atụmanya ndị ọrụ, na ihe iwu chọrọ.
Mmetụta atụmatụ
Ọ na-eme ka nnweta ya dịkwuo mma site na ndegharị, ịkọ akụkọ, na ntụgharị olu.
Ọ na-eme ka nnweta ya dịkwuo mma site na ndegharị, ịkọ akụkọ, na ntụgharị olu. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.
Ndị otu mgbasa ozi nwere ike ibubata ọdịyo a na-egbu maramara ngwa ngwa site na iji obere mmefu ego.
Ndị otu mgbasa ozi nwere ike ibubata ọdịyo a na-egbu maramara ngwa ngwa site na iji obere mmefu ego. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.
Sistemụ na-eche ihu ndị ahịa nwere ike hazie mkparịta ụka n'ọtụtụ buru ibu.
Sistemụ na-eche ihu ndị ahịa nwere ike hazie mkparịta ụka n'ọtụtụ buru ibu. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.
Mmejuputa n'ezie n'ụwa
Ịmepụta mkparịta ụka 30 nke abụọ maka ndị enyemaka olu AI n'okpuru otu sekọnd
Na-ejikọta mkparịta ụka ọtụtụ ntụgharị na olu ọkà okwu na-agbanwe agbanwe maka imepụta ihe
Na-eme ka ederede-na-okwu dị ala dị ala na ndị ọrụ mmekọrịta ebe ụdị autoregressive na-ada
Na-emepụta ọdịyo ndekọ ogologo ụdị ọsọ ọsọ site na-ejuputa akara ụda n'otu oge
Usoro mmejuputa
SoundStorm Parallel Audio Generation na omume
Ịmepụta mkparịta ụka 30 nke abụọ maka ndị enyemaka olu AI n'okpuru otu sekọnd.
Ịmepụta mkparịta ụka okwu 30 nke abụọ maka ndị na-enyere aka na olu AI n'okpuru otu nke abụọ na-enwetakarị nsonaazụ ka mma mgbe ha na-akọwapụta ọnụ ụzọ dị mma n'ihu, na-eme ka ụzọ mmadụ si abawanye maka ikpe ikpe, ma soro ma uru mmepụta na ụgwọ njehie na oge.
SoundStorm Parallel Audio Generation na omume
Na-ejikọta mkparịta ụka ọtụtụ ntụgharị na olu ọkà okwu na-agbanwe agbanwe maka imepụta ihe.
Ịmekọrịta mkparịta ụka ọtụtụ ntụgharị na olu ndị na-ekwu okwu na-agbanwe agbanwe maka ịmegharị otu ìgwè na-enwetakarị nsonaazụ ka mma mgbe ha na-akọwapụta ọnụ ụzọ dị mma n'ihu, na-eme ka ụzọ mmadụ si abawanye maka ọnụ okwu, ma soro ma uru mmepụta na ụgwọ njehie na oge.
SoundStorm Parallel Audio Generation na omume
Na-eme ka ederede-na-okwu dị ala dị ala na ndị ọrụ mmekọrịta ebe ụdị autoregressive na-ada.
Ịkwado ederede-latency dị ala na ndị na-emekọrịta ihe ebe ndị na-emepụta ihe na-emepụta ihe na-emekarị ka ndị otu na-enweta nsonaazụ ka mma mgbe ha na-akọwapụta ọnụ ụzọ dị mma n'ihu, na-edebe ụzọ ịrị elu mmadụ maka ikpe ikpe, ma soro ma uru nrụpụta na ụgwọ njehie na oge.
SoundStorm Parallel Audio Generation na omume
Na-emepụta ọdịyo ndekọ ogologo ụdị ọsọ ọsọ site na-ejuputa akara ụda n'otu oge.
Ịmepụta ụda akụkọ ogologo oge ngwa ngwa site na imeju akara ụda olu n'otu egwuregwu na-enwetakarị nsonaazụ kacha mma mgbe ha na-akọwapụta ọnụ ụzọ dị mma n'ihu, na-eme ka ụzọ mmadụ si abawanye maka ọnụ okwu, ma soro ma uru nrụpụta yana ụgwọ njehie n'ime oge.
Ihe ize ndụ & okporo ụzọ nche
Iji olu eme ihe na ihe egwu mpụta ga-abawanye mgbe nkwenye na-efu.
Izi ezi nwere ike ịdaba n'ofe ụda olu, olumba ma ọ bụ gburugburu mkpọtụ.
Enwere ike imehie ọdịyo sịntetik dị ka ezigbo okwu na-enweghị akara doro anya.
Map mmejuputa
Nweta nkwenye doro anya maka ijide olu, imechi, na ijigharị.
Nweta nkwenye doro anya maka ijide olu, imechi, na ijigharị. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.
Nwale ogo n'ofe ndị na-ekwu okwu dị iche iche yana ọnọdụ ndabere.
Nwale ogo n'ofe ndị na-ekwu okwu dị iche iche yana ọnọdụ ndabere. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.
Kọwaa mgbe mmadụ ga-enyocha ma ọ bụ kwado nsonye.
Kọwaa mgbe mmadụ ga-enyocha ma ọ bụ kwado nsonye. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.
Deba aha ọdịyo sịntetik ma debe ndekọ ihe ndekọ maka ịza ajụjụ.
Deba aha ọdịyo sịntetik ma debe ndekọ ihe ndekọ maka ịza ajụjụ. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.