Nchịkọta
AudioLM bụ usoro nchọcha Google na-ebute ọdịyo ezi uche - okwu ma ọ bụ egwu piano - site n'imeso ụda dị ka asụsụ na ibu amụma ya site na token. Ọ dị mkpa n'ihi na ọ gosipụtara na ị nwere ike iwepụta ihe na-aga n'ihu na ọdịyo na-ada ụda na-enweghị ederede ederede ma ọ bụ akara egwu ọ bụla.
AudioLM na-anọdụ n'usoro ọdịyo-AI na-agbanwe okwu, egwu na ụda maka nzikọrịta ozi, nnweta na mmepụta mgbasa ozi.
Ime miri emi
Nke Google webatara na 2022, AudioLM na-emegharị ọgbọ ọdịyo dị ka nsogbu nhazi asụsụ: ọ na-atụgharị ụdị waveform ka ọ bụrụ akara ngosi pụrụ iche wee buru amụma maka akara na-esote, dịka ụdị ederede na-ebu amụma okwu na-esote. Isi aghụghọ ya bụ ọkwa nke ụdị token. 'Semantic' tokens (site na ihe nlereanya dị ka w2v-BERT) na-ejide usoro ogologo oge - ụda ụda, syntax, egwu egwu - ebe akara ngosi 'acoustic' (site na SoundStream neural codec) na-ejide nkọwa dị mma dị ka njirimara ọkà okwu, timbre, na ọnọdụ ndekọ. Site na ibu amụma ihe nrịbama semantic, wee na-edozi akara ụda olu na ha, AudioLM na-ewepụta ọga n'ihu na-anọkọ ọnụ karịa ọtụtụ sekọnd ka ọ na-echekwa olu ma ọ bụ ngwa mbụ. Nyere nkeji ole na ole okwu, ọ na-aga n'ihu na-ekwu okwu n'otu olu; nyere piano, ọ na-emeziwanye n'otu ụdị ahụ.
Nghọta nka nka
A zụrụ AudioLM naanị na ọdịyo - enweghị ederede. SoundStream na-echikota ọdịyo ka ọ bụrụ akara ụda olu site na ọnụọgụ vector fọdụrụnụ, ebe w2v-BERT na-enye akara mmụta semantic siri ike. Otutu ụdị asụsụ Transformer na-ebu amụma akara n'ọkwa dị iche iche: semantic mbụ maka nhazi, emesia akara ụda olu na nke mara mma maka mwughachi ntụkwasị obi dị elu. Ihe ngbanwe nke SoundStream na-emesị tụgharịa akara ngosi ndị e buru n'amụma azụ ka ọ bụrụ usoro ebili mmiri, na-ekwenye ụda nke na-eme ka olu na okwu ọkà okwu guzosie ike.
Ijikwa AudioLM
AudioLM bụ usoro nchọcha Google na-ebute ọdịyo ezi uche - okwu ma ọ bụ egwu piano - site n'imeso ụda dị ka asụsụ na ibu amụma ya site na token. Ọ dị mkpa n'ihi na ọ gosipụtara na ị nwere ike iwepụta ihe na-aga n'ihu na ọdịyo na-ada ụda na-enweghị ederede ederede ma ọ bụ akara egwu ọ bụla. AudioLM na-anọdụ n'usoro ọdịyo-AI na-agbanwe okwu, egwu na ụda maka nzikọrịta ozi, nnweta na mmepụta mgbasa ozi. Iji wuo nghọta miri emi, na-emeso AudioLM dị ka ihe nlereanya na-arụ ọrụ, ọ bụghị otu njirimara: kọwaa nsonaazụ achọrọ, dokwuo anya echiche, ma kewaa ihe sistemụ nwere ike ime nke ọma na ihe ka na-achọ mkpebi ndị ọkachamara.
Na omume, ndị otu siri ike na-eji AudioLM na-emeso ịdịmma, nkwụsịtụ, na nkwenye dị ka akụkụ dị mkpa nke atụmatụ mbugharị. Ha na-edepụta njirisi ịga nke ọma nke ọma, nwalee megide data ziri ezi yana usoro ọrụ, yana na-atụgharị dabere na usoro ọdịda ahụrụ karịa karịa mmeri otu oge. Nke a bụ ebe nghọta usoro ihe atụ na-atụgharị ghọọ ike na-adịgide adịgide n'ofe ngwaahịa, amụma na arụmọrụ.
Ọ na-eme ka nnweta ya dịkwuo mma site na ndegharị, ịkọ akụkọ, na ntụgharị olu. N'otu oge ahụ, iji olu eme ihe n'ụzọ na-ezighị ezi na ihe egwu mpụta ga-abawanye mgbe nkwenye na-efu. Ụzọ kachasị na-agbanwe agbanwe bụ ijikọ ọsọ nnwale na ịdọ aka ná ntị ọchịchị: ndị na-anya ụgbọ elu, ijide ihe akaebe, bipụta ndekọ mkpebi, na na-aga n'ihu na-emelite nchekwa dị ka omume nlereanya, atụmanya ndị ọrụ, na ihe iwu chọrọ.
Mmetụta atụmatụ
Ọ na-eme ka nnweta ya dịkwuo mma site na ndegharị, ịkọ akụkọ, na ntụgharị olu.
Ọ na-eme ka nnweta ya dịkwuo mma site na ndegharị, ịkọ akụkọ, na ntụgharị olu. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.
Ndị otu mgbasa ozi nwere ike ibubata ọdịyo a na-egbu maramara ngwa ngwa site na iji obere mmefu ego.
Ndị otu mgbasa ozi nwere ike ibubata ọdịyo a na-egbu maramara ngwa ngwa site na iji obere mmefu ego. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.
Sistemụ na-eche ihu ndị ahịa nwere ike hazie mkparịta ụka n'ọtụtụ buru ibu.
Sistemụ na-eche ihu ndị ahịa nwere ike hazie mkparịta ụka n'ọtụtụ buru ibu. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.
Mmejuputa n'ezie n'ụwa
Na-aga n'ihu obere mkpirisi okwu n'otu olu ọkà okwu na ntinye ụda na-enweghị ederede
Na-emeziwanye egwu piano ọhụrụ dabara n'ụdị nke ngwa ngwa edekọtara
Na-eje ozi dị ka ọkpụkpụ azụ-ọgbọ ọdịyo maka sistemụ ederede gaa na egwu dịka MusicLM
Nnyocha n'ime nhazi okwu nke na-echekwa prosody na ndekọ egwu site na nlele
Usoro mmejuputa
AudioLM na omume
Na-aga n'ihu obere mkpirisi okwu n'otu olu ọkà okwu na ntinye ụda na-enweghị ederede.
Ịga n'ihu na obere okwu okwu n'otu olu okwu na ntinye akwụkwọ na-enweghị transcript Otu dị iche iche na-enwetakarị nsonaazụ ka mma mgbe ha na-akọwapụta ọnụ ụzọ dị mma n'ihu, na-edebe ụzọ ịrị elu mmadụ maka ikpe ikpe, ma soro ma uru nrụpụta na ụgwọ njehie na oge.
AudioLM na omume
Na-emeziwanye egwu piano ọhụrụ dabara n'ụdị nke ngwa ngwa edekọtara.
Ịkwalite egwu piano ọhụrụ nke dabara n'ụdị ngwa ngwa edekọ nkenke Otu dị iche iche na-enwetakarị nsonaazụ kacha mma mgbe ha na-akọwapụta ọnụ ụzọ dị mma n'ihu, na-eme ka ụzọ mmadụ si abawanye maka ọnụ ahịa, ma soro ma uru nrụpụta na ụgwọ njehie na-aga n'ihu oge.
AudioLM na omume
Na-eje ozi dị ka ọkpụkpụ azụ-ọgbọ ọdịyo maka sistemụ ederede gaa na egwu dịka MusicLM.
Ije ozi dị ka ọkpụkpụ-ọgbọ ọdịyo maka usoro ederede na egwu dị ka ndị otu MusicLM na-enwetakarị nsonaazụ ka mma mgbe ha na-akọwapụta ọnụ ụzọ dị mma n'ihu, na-eme ka ụzọ mmadụ dịkwuo elu maka ikpe ikpe, ma soro ma uru mmepụta na ụgwọ njehie na oge.
AudioLM na omume
Nnyocha n'ime nhazi okwu nke na-echekwa prosody na ndekọ egwu site na nlele.
Nnyocha n'ime nchịkọta okwu nke na-echekwa prosody na ndekọ egwu sitere na ihe atụ Otu dị iche iche na-enwetakarị nsonaazụ ka mma mgbe ha na-akọwapụta ọnụ ụzọ dị mma n'ihu, na-eme ka ụzọ mmadụ na-ebuwanye ibu maka ikpe ikpe, ma soro ma uru mmepụta na ụgwọ njehie na oge.
Ihe ize ndụ & okporo ụzọ nche
Iji olu eme ihe na ihe egwu mpụta ga-abawanye mgbe nkwenye na-efu.
Izi ezi nwere ike ịdaba n'ofe ụda olu, olumba ma ọ bụ gburugburu mkpọtụ.
Enwere ike imehie ọdịyo sịntetik dị ka ezigbo okwu na-enweghị akara doro anya.
Map mmejuputa
Nweta nkwenye doro anya maka ijide olu, imechi, na ijigharị.
Nweta nkwenye doro anya maka ijide olu, imechi, na ijigharị. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.
Nwale ogo n'ofe ndị na-ekwu okwu dị iche iche yana ọnọdụ ndabere.
Nwale ogo n'ofe ndị na-ekwu okwu dị iche iche yana ọnọdụ ndabere. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.
Kọwaa mgbe mmadụ ga-enyocha ma ọ bụ kwado nsonye.
Kọwaa mgbe mmadụ ga-enyocha ma ọ bụ kwado nsonye. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.
Deba aha ọdịyo sịntetik ma debe ndekọ ihe ndekọ maka ịza ajụjụ.
Deba aha ọdịyo sịntetik ma debe ndekọ ihe ndekọ maka ịza ajụjụ. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.