Mimi Streaming Audio Codec
Mimi bụ codec ọdịyo akwara nke na-etinye okwu n'ime obere iyi nke akara ngosi dị adị n'ezie, yabụ ụdị AI nwere ike ige ntị ma kwuo okwu na obere oge.
Nchịkọta
Mimi bụ codec ọdịyo akwara nke na-etinye okwu n'ime obere iyi nke akara ngosi dị adị n'ezie, yabụ ụdị AI nwere ike ige ntị ma kwuo okwu na obere oge. Ọ bụ ọkpụkpụ azụ ọdịyo dị n'azụ ụdị olu Moshi nke Kyutai.
Mimi Streaming Audio Codec na-anọdụ n'usoro ọdịyo-AI nke na-agbanwe okwu, egwu, na ụda maka nzikọrịta ozi, nnweta na mmepụta mgbasa ozi.
Ime miri emi
Mimi, nke ụlọ nyocha French Kyutai wepụtara na 2024, bụ codec neural nke na-atụgharị ụda 24 kHz ka ọ bụrụ iyi nke akara ngosi nwere ihe dị ka 1.1 kbps na naanị 12.5 tokens kwa nkeji. Ọ na-eji encoder-decoder nwere residual vector quantization (RVQ), na-ekewa akara n'ime 'semantic' ọkwa nke mbụ gbapụrụ site na ụdị okwu okwu na-elekọta onwe ya (WavLM) gbakwunyere ọtụtụ ọkwa 'acoustic' na-ejide udidi olu. N'ụzọ dị mkpa ọ na-enuba nke ọma na ihe kpatara ya: ọ na-ewepụta akara ka ọdịyo na-abịarute kama ichere vidiyo zuru ezu, yana ihe dị ka ms 80 nke latency. Nke a na-eme ka ụdị asụsụ na-emeso okwu dị ka akara ederede, na-enyere Moshi aka ịkparịta ụka na duplex zuru oke ma na-edobe ọdịyo arụgharịrị arụgharịrị nghọta na eke.
Nghọta nka nka
Aghụghọ Mimi bụ atụmatụ nkewa-RVQ. A na-azụ akwụkwọ koodu nke mbụ na nhụsianya nhụsianya ka ọ dakọtara na ntinye sitere na WavLM, na-amanye ya iburu 'pụtara' phonetic, ebe codebooks ụda olu na-emegharị nkọwa nke waveform. Ihe ntụgharị na-arụ ọrụ n'ime ọkpọ ahụ, na mfu nke mgbagha (GAN) na decoder na-amụba ogo mmepụta. Mgbagwoju anya ihe kpatara na-eme ka ihe niile na-aga n'ihu, yabụ latency na-anọ nso 80 ms.
Kọdek ọdịyo na-agụ Mimi Mastering
Iji wuo nghọta miri emi, na-emeso Mimi Streaming Audio Codec dị ka ihe nlereanya na-arụ ọrụ, ọ bụghị otu njirimara. Kọwaa nsonaazụ achọrọ, kọwapụta echiche, ma kewaa ihe sistemụ nwere ike ime nke ọma na ihe ka na-achọ mkpebi ndị ọkachamara.
Na omume, ndị otu siri ike na-eji Mimi Streaming Audio Codec na-emeso ịdịmma, latency, na nkwenye dị ka akụkụ dị mkpa nke atụmatụ mbugharị. Ha na-edepụta njirisi ịga nke ọma nke ọma, nwalee megide data ziri ezi yana usoro ọrụ, yana na-atụgharị dabere na usoro ọdịda ahụrụ karịa karịa mmeri otu oge. Nke a bụ ebe nghọta usoro ihe atụ na-atụgharị ka ọ bụrụ ike na-adịgide adịgide gafee ngwaahịa, amụma na arụmọrụ.
Ọ na-eme ka nnweta ya dịkwuo mma site na ndegharị, ịkọ akụkọ, na ntụgharị olu. N'otu oge ahụ, iji olu eme ihe n'ụzọ na-ezighị ezi na ihe egwu mpụta ga-abawanye mgbe nkwenye na-efu. Ụzọ kachasị na-agbanwe agbanwe bụ ijikọ ọsọ nnwale na ịdọ aka ná ntị ọchịchị: ndị na-anya ụgbọ elu, ijide ihe akaebe, bipụta ndekọ mkpebi, na na-aga n'ihu na-emelite nchekwa dị ka omume nlereanya, atụmanya ndị ọrụ, na ihe iwu chọrọ.
Mmetụta atụmatụ
Ọ na-eme ka nnweta ya dịkwuo mma site na ndegharị, ịkọ akụkọ, na ntụgharị olu.
Ọ na-eme ka nnweta ya dịkwuo mma site na ndegharị, ịkọ akụkọ, na ntụgharị olu. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.
Ndị otu mgbasa ozi nwere ike ibubata ọdịyo a na-egbu maramara ngwa ngwa site na iji obere mmefu ego.
Ndị otu mgbasa ozi nwere ike ibubata ọdịyo a na-egbu maramara ngwa ngwa site na iji obere mmefu ego. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.
Sistemụ na-eche ihu ndị ahịa nwere ike hazie mkparịta ụka n'ọtụtụ buru ibu.
Sistemụ na-eche ihu ndị ahịa nwere ike hazie mkparịta ụka n'ọtụtụ buru ibu. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.
Mmejuputa n'ezie n'ụwa
Na-akwado onye enyemaka olu Duplex nke Kyutai's Moshi ka o nwee ike ige ntị na ikwu okwu n'otu oge
Ngosipụta akara okwu n'ụdị asụsụ maka ntụgharị okwu-gaa-okwu ozugbo
Oku olu dị obere bitrate (~ 1.1 kbps) maka ọnọdụ netwọkụ adịghị mma ma ọ bụ mkpọkọ
Ịkwado ụda olu maka imepụta okwu na pipeline ederede gaa n'okwu na-atụgharị uche dị ka ederede
Usoro mmejuputa
Mimi Streaming Audio Codec na omume
Na-akwado onye enyemaka olu Duplex nke Kyutai's Moshi ka o nwee ike ige ntị na ikwu okwu n'otu oge.
Otu dị iche iche na-enwetakarị nsonaazụ ka mma mgbe ha na-akọwapụta ọnụ ụzọ dị mma n'ihu, na-eme ka ụzọ mmadụ si abawanye maka oke ikpe, ma soro ma uru nrụpụta yana ụgwọ njehie n'ime oge.
Mimi Streaming Audio Codec na omume
Ngosipụta akara okwu n'ụdị asụsụ maka ntụgharị okwu-gaa-okwu ozugbo.
Otu dị iche iche na-enwetakarị nsonaazụ ka mma mgbe ha na-akọwapụta ọnụ ụzọ dị mma n'ihu, na-eme ka ụzọ mmadụ si abawanye maka oke ikpe, ma soro ma uru nrụpụta yana ụgwọ njehie n'ime oge.
Mimi Streaming Audio Codec na omume
Oku olu dị obere bitrate (~ 1.1 kbps) maka ọnọdụ netwọkụ adịghị mma ma ọ bụ mkpọkọ.
Otu dị iche iche na-enwetakarị nsonaazụ ka mma mgbe ha na-akọwapụta ọnụ ụzọ dị mma n'ihu, na-eme ka ụzọ mmadụ si abawanye maka oke ikpe, ma soro ma uru nrụpụta yana ụgwọ njehie n'ime oge.
Mimi Streaming Audio Codec na omume
Ịkwado ụda olu maka imepụta okwu na pipeline ederede gaa n'okwu na-atụgharị uche dị ka ederede.
Otu dị iche iche na-enwetakarị nsonaazụ ka mma mgbe ha na-akọwapụta ọnụ ụzọ dị mma n'ihu, na-eme ka ụzọ mmadụ si abawanye maka oke ikpe, ma soro ma uru nrụpụta yana ụgwọ njehie n'ime oge.
Ihe ize ndụ & okporo ụzọ nche
Iji olu eme ihe na ihe egwu mpụta ga-abawanye mgbe nkwenye na-efu.
Izi ezi nwere ike ịdaba n'ofe ụda olu, olumba ma ọ bụ gburugburu mkpọtụ.
Enwere ike imehie ọdịyo sịntetik dị ka ezigbo okwu na-enweghị akara doro anya.
Map mmejuputa
Nweta nkwenye doro anya maka ijide olu, imechi, na ijigharị.
Mesoo nke a dị ka ọnụ ụzọ ámá ihe akaebe: ọ bụrụ na emezughị njirisi, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.
Nwale ogo n'ofe ndị na-ekwu okwu dị iche iche yana ọnọdụ ndabere.
Mesoo nke a dị ka ọnụ ụzọ ámá ihe akaebe: ọ bụrụ na emezughị njirisi, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.
Kọwaa mgbe mmadụ ga-enyocha ma ọ bụ kwado nsonye.
Mesoo nke a dị ka ọnụ ụzọ ámá ihe akaebe: ọ bụrụ na emezughị njirisi, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.
Deba aha ọdịyo sịntetik ma debe ndekọ ihe ndekọ maka ịza ajụjụ.
Mesoo nke a dị ka ọnụ ụzọ ámá ihe akaebe: ọ bụrụ na emezughị njirisi, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.
Nọgide na-eme nchọpụta
Check your understanding
Test yourself: take the Mimi Streaming Audio Codec quiz