Nchịkọta
EnCodec bụ Meta's codec ụda olu nwere ntụkwasị obi dị elu nke na-akpakọ okwu na egwu n'ụdị bitrate dị ala nke nwere ụdị njiri mara mma. Ọ dị mkpa n'ihi na ọ na-akwado sistemụ ọdịyo ọgbara ọhụrụ yana ụgbọ mmiri n'ụdị mepere emepe maka onye ọ bụla iji.
EnCodec Audio Compression na-anọdụ n'usoro ọdịyo-AI nke na-agbanwe okwu, egwu, na ụda maka nzikọrịta ozi, nnweta na mmepụta mgbasa ozi.
Ime miri emi
Nke Meta AI weputara na 2022, EnCodec na-agbaso ụkpụrụ SoundStream nke ihe ngbanwe, vector quantizer residual vector (RVQ), na ihe ngbanwe a zụrụ azụ ruo ọgwụgwụ, mana na-agbakwunye ọtụtụ ndozi. Ọ na-eji koodu mgbanwe convolutional nwere ike nkwanye, ọtụtụ spectrogram na mfu nrụzi ngalaba oge, yana ndị mmegide maka ịdị mma nghọta. Ihe enyemaka pụtara ìhè bụ obere ihe atụ entropy dabere na Transformer nke na-emekọkwa koodu ndị ahụ na-enweghị atụ, na-apịpụta ntakịrị ntakịrị na-enweghị ezigbo mfu. EnCodec na-ewebatakwa ihe ngbanwe nke na-eme ka ọtụtụ mfu ọzụzụ na-asọmpi na-akpaghị aka ka ha wee kwụsie ike. Ọ na-ejikwa 24 kHz monophonic na 48 kHz stereo audio, na-arụ ọrụ gafee bitrates dị ka 1.5, 3, 6, na 12 kbps, na na 6 kbps rute àgwà tụnyere MP3 na 64 kbps. Ike akara ya Meta's MusicGen na AudioGen.
Nghọta nka nka
EnCodec's encoder wedara ihe atụ nke ebili mmiri na mgbagha gbagoro n'usoro ka ọ bụrụ usoro zoro ezo, nke RVQ na-atụgharị ka ọ bụrụ ndenye codebook. Ụdị asụsụ Transformer dị fechaa na-ebu amụma ihe gbasara puru omume na mgbakọ na mwepụ-koodu ha, na-enwetaghachi mkpakọ ọzọ n'efu. Onye na-ahụ maka nhazi ọzụzụ na-eweghachite onyinye gradient site na nrụzigharị, ihe nhụsianya, na mfu ndị na-emegide ya ka ọ nweghị otu okwu na-achịkwa, nke na-eme ka ọzụzụ ọtụtụ ebumnuche kwụsie ike n'ofe oke bitrate zuru oke.
Ijikwa EnCodec Audio mkpakọ
EnCodec bụ Meta's codec ụda olu nwere ntụkwasị obi dị elu nke na-akpakọ okwu na egwu n'ụdị bitrate dị ala nke nwere ụdị njiri mara mma. Ọ dị mkpa n'ihi na ọ na-akwado sistemụ ọdịyo ọgbara ọhụrụ yana ụgbọ mmiri n'ụdị mepere emepe maka onye ọ bụla iji. EnCodec Audio Compression na-anọdụ n'usoro ọdịyo-AI nke na-agbanwe okwu, egwu, na ụda maka nzikọrịta ozi, nnweta na mmepụta mgbasa ozi. Iji wulite nghọta miri emi, na-emeso EnCodec Audio Compression dị ka ihe nlere anya na-arụ ọrụ, ọ bụghị otu njirimara: kọwaa nsonaazụ achọrọ, dokwuo anya echiche, kewaa ihe sistemụ nwere ike ime nke ọma na ihe ka na-achọ mkpebi ndị ọkachamara.
Na omume, ndị otu siri ike na-eji EnCodec Audio Compression na-emeso ịdịmma, nkwụsịtụ, na nkwenye dị ka akụkụ dị mkpa nke atụmatụ mbugharị. Ha na-edepụta njirisi ịga nke ọma nke ọma, nwalee megide data ziri ezi yana usoro ọrụ, yana na-atụgharị dabere na usoro ọdịda ahụrụ karịa karịa mmeri otu oge. Nke a bụ ebe nghọta usoro ihe atụ na-atụgharị ghọọ ike na-adịgide adịgide n'ofe ngwaahịa, amụma na arụmọrụ.
Ọ na-eme ka nnweta ya dịkwuo mma site na ndegharị, ịkọ akụkọ, na ntụgharị olu. N'otu oge ahụ, iji olu eme ihe n'ụzọ na-ezighị ezi na ihe egwu mpụta ga-abawanye mgbe nkwenye na-efu. Ụzọ kachasị na-agbanwe agbanwe bụ ijikọ ọsọ nnwale na ịdọ aka ná ntị ọchịchị: ndị na-anya ụgbọ elu, ijide ihe akaebe, bipụta ndekọ mkpebi, na na-aga n'ihu na-emelite nchekwa dị ka omume nlereanya, atụmanya ndị ọrụ, na ihe iwu chọrọ.
Mmetụta atụmatụ
Ọ na-eme ka nnweta ya dịkwuo mma site na ndegharị, ịkọ akụkọ, na ntụgharị olu.
Ọ na-eme ka nnweta ya dịkwuo mma site na ndegharị, ịkọ akụkọ, na ntụgharị olu. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.
Ndị otu mgbasa ozi nwere ike ibubata ọdịyo a na-egbu maramara ngwa ngwa site na iji obere mmefu ego.
Ndị otu mgbasa ozi nwere ike ibubata ọdịyo a na-egbu maramara ngwa ngwa site na iji obere mmefu ego. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.
Sistemụ na-eche ihu ndị ahịa nwere ike hazie mkparịta ụka n'ọtụtụ buru ibu.
Sistemụ na-eche ihu ndị ahịa nwere ike hazie mkparịta ụka n'ọtụtụ buru ibu. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.
Mmejuputa n'ezie n'ụwa
Na-atụnye ụda olu maka Meta's MusicGen na AudioGen ndị na-emepụta ihe ederede gaa na ọdịyo
Na-akpakọ okwu 24 kHz na 1.5-6 kbps maka nnyefe nwere oke bandwidth
Na-ezobe egwu stereo 48 kHz nwere ogo dị nso MP3 na oke bitrates dị elu
Na-eje ozi dị ka koodu ntinye ebe mepere emepe maka nyocha na pipeline ML ọdịyo site na ebe nlele ewepụtara
Usoro mmejuputa
EnCodec Audio mkpakọ na omume
N'ịkọba ụda maka Meta's MusicGen na AudioGen ndị na-emepụta ihe ederede gaa na ọdịyo.
Tokenizing audio maka Meta's MusicGen na AudioGen ndị na-emepụta ihe ederede na ọdịyo Otu dị iche iche na-enwetakarị nsonaazụ kacha mma mgbe ha na-akọwapụta ọnụ ụzọ dị mma n'ihu, na-eme ka ụzọ mmadụ si abawanye maka oke ikpe, ma soro ma uru nrụpụta yana ụgwọ njehie na oge.
EnCodec Audio mkpakọ na omume
Na-akpakọ okwu 24 kHz na 1.5-6 kbps maka nnyefe nwere oke bandwidth.
Ịkọkọ okwu 24 kHz na 1.5-6 kbps maka bandwit-ejedebere nnyefe otu na-enwetakarị nsonaazụ ka mma mgbe ha na-akọwapụta ọnụ ụzọ dị mma n'ihu, na-eme ka ụzọ mmadụ na-ebuwanye ibu maka ikpe ikpe, ma soro ma uru arụpụtaghị ihe na ụgwọ njehie na oge.
EnCodec Audio mkpakọ na omume
Na-ezobe egwu stereo 48 kHz nwere ogo dị nso MP3 na oke bitrates dị elu.
Idobe egwu stereo 48 kHz nwere ogo dị nso na MP3 na oke bitrates dị elu Otu dị iche iche na-enwetakarị nsonaazụ ka mma mgbe ha kọwapụtara ọnụ ụzọ dị mma n'ihu, na-eme ka ụzọ mmadụ si abawanye maka ọnụ okwu, ma soro ma uru nrụpụta yana ụgwọ njehie n'ime oge.
EnCodec Audio mkpakọ na omume
Na-eje ozi dị ka koodu ntinye ebe mepere emepe maka nyocha na pipeline ML ọdịyo site na ebe nlele ewepụtara.
Ije ozi dị ka koodu ntinye oghere mepere emepe maka nyocha na pipeline ML audio site na ebe nlele ndị a tọhapụrụ Otu na-enwetakarị nsonaazụ kacha mma mgbe ha kọwapụtara ọnụ ụzọ dị mma n'ihu, debe ụzọ mmụba mmadụ maka ikpe ọnụ, ma soro ma uru nrụpụta yana ụgwọ njehie na oge.
Ihe ize ndụ & okporo ụzọ nche
Iji olu eme ihe na ihe egwu mpụta ga-abawanye mgbe nkwenye na-efu.
Izi ezi nwere ike ịdaba n'ofe ụda olu, olumba ma ọ bụ gburugburu mkpọtụ.
Enwere ike imehie ọdịyo sịntetik dị ka ezigbo okwu na-enweghị akara doro anya.
Map mmejuputa
Nweta nkwenye doro anya maka ijide olu, imechi, na ijigharị.
Nweta nkwenye doro anya maka ijide olu, imechi, na ijigharị. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.
Nwale ogo n'ofe ndị na-ekwu okwu dị iche iche yana ọnọdụ ndabere.
Nwale ogo n'ofe ndị na-ekwu okwu dị iche iche yana ọnọdụ ndabere. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.
Kọwaa mgbe mmadụ ga-enyocha ma ọ bụ kwado nsonye.
Kọwaa mgbe mmadụ ga-enyocha ma ọ bụ kwado nsonye. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.
Deba aha ọdịyo sịntetik ma debe ndekọ ihe ndekọ maka ịza ajụjụ.
Deba aha ọdịyo sịntetik ma debe ndekọ ihe ndekọ maka ịza ajụjụ. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.