Nchịkọta
Mimi bụ codec ọdịyo akwara nke na-etinye okwu n'ime obere iyi nke akara ngosi dị adị n'ezie, yabụ ụdị AI nwere ike ige ntị ma kwuo okwu na obere oge. Ọ bụ ọkpụkpụ azụ ọdịyo dị n'azụ ụdị olu Moshi nke Kyutai.
Mimi Streaming Audio Codec na-anọdụ n'usoro ọdịyo-AI nke na-agbanwe okwu, egwu, na ụda maka nzikọrịta ozi, nnweta na mmepụta mgbasa ozi.
Ime miri emi
Mimi, nke ụlọ nyocha French Kyutai wepụtara na 2024, bụ codec neural nke na-atụgharị ụda 24 kHz ka ọ bụrụ iyi nke akara ngosi nwere ihe dị ka 1.1 kbps na naanị 12.5 tokens kwa nkeji. Ọ na-eji encoder-decoder nwere residual vector quantization (RVQ), na-ekewa akara n'ime 'semantic' ọkwa nke mbụ gbapụrụ site na ụdị okwu okwu na-elekọta onwe ya (WavLM) gbakwunyere ọtụtụ ọkwa 'acoustic' na-ejide udidi olu. N'ụzọ dị mkpa ọ na-enuba nke ọma na ihe kpatara ya: ọ na-ewepụta akara ka ọdịyo na-abịarute kama ichere vidiyo zuru ezu, yana ihe dị ka ms 80 nke latency. Nke a na-eme ka ụdị asụsụ na-emeso okwu dị ka akara ederede, na-enyere Moshi aka ịkparịta ụka na duplex zuru oke ma na-edobe ọdịyo arụgharịrị arụgharịrị nghọta na eke.
Nghọta nka nka
Aghụghọ Mimi bụ atụmatụ nkewa-RVQ. A na-azụ akwụkwọ koodu nke mbụ na nhụsianya nhụsianya ka ọ dakọtara na ntinye sitere na WavLM, na-amanye ya iburu 'pụtara' phonetic, ebe codebooks ụda olu na-emegharị nkọwa nke waveform. Ihe ntụgharị na-arụ ọrụ n'ime ọkpọ ahụ, na mfu nke mgbagha (GAN) na decoder na-amụba ogo mmepụta. Mgbagwoju anya ihe kpatara na-eme ka ihe niile na-aga n'ihu, yabụ latency na-anọ nso 80 ms.
Kọdek ọdịyo na-agụ Mimi Mastering
Mimi bụ codec ọdịyo akwara nke na-etinye okwu n'ime obere iyi nke akara ngosi dị adị n'ezie, yabụ ụdị AI nwere ike ige ntị ma kwuo okwu na obere oge. Ọ bụ ọkpụkpụ azụ ọdịyo dị n'azụ ụdị olu Moshi nke Kyutai. Mimi Streaming Audio Codec na-anọdụ n'usoro ọdịyo-AI nke na-agbanwe okwu, egwu, na ụda maka nzikọrịta ozi, nnweta na mmepụta mgbasa ozi. Iji wulite nghọta miri emi, na-emeso Mimi Streaming Audio Codec dị ka ihe nlereanya na-arụ ọrụ, ọ bụghị otu njirimara: kọwaa nsonaazụ achọrọ, dokwuo anya echiche, ma kewaa ihe sistemụ nwere ike ime nke ọma na ihe ka na-achọ mkpebi ndị ọkachamara.
Na omume, ndị otu siri ike na-eji Mimi Streaming Audio Codec na-emeso ịdịmma, latency, na nkwenye dị ka akụkụ dị mkpa nke atụmatụ mbugharị. Ha na-edepụta njirisi ịga nke ọma nke ọma, nwalee megide data ziri ezi yana usoro ọrụ, yana na-atụgharị dabere na usoro ọdịda ahụrụ karịa karịa mmeri otu oge. Nke a bụ ebe nghọta usoro ihe atụ na-atụgharị ghọọ ike na-adịgide adịgide n'ofe ngwaahịa, amụma na arụmọrụ.
Ọ na-eme ka nnweta ya dịkwuo mma site na ndegharị, ịkọ akụkọ, na ntụgharị olu. N'otu oge ahụ, iji olu eme ihe n'ụzọ na-ezighị ezi na ihe egwu mpụta ga-abawanye mgbe nkwenye na-efu. Ụzọ kachasị na-agbanwe agbanwe bụ ijikọ ọsọ nnwale na ịdọ aka ná ntị ọchịchị: ndị na-anya ụgbọ elu, ijide ihe akaebe, bipụta ndekọ mkpebi, na na-aga n'ihu na-emelite nchekwa dị ka omume nlereanya, atụmanya ndị ọrụ, na ihe iwu chọrọ.
Mmetụta atụmatụ
Ọ na-eme ka nnweta ya dịkwuo mma site na ndegharị, ịkọ akụkọ, na ntụgharị olu.
Ọ na-eme ka nnweta ya dịkwuo mma site na ndegharị, ịkọ akụkọ, na ntụgharị olu. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.
Ndị otu mgbasa ozi nwere ike ibubata ọdịyo a na-egbu maramara ngwa ngwa site na iji obere mmefu ego.
Ndị otu mgbasa ozi nwere ike ibubata ọdịyo a na-egbu maramara ngwa ngwa site na iji obere mmefu ego. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.
Sistemụ na-eche ihu ndị ahịa nwere ike hazie mkparịta ụka n'ọtụtụ buru ibu.
Sistemụ na-eche ihu ndị ahịa nwere ike hazie mkparịta ụka n'ọtụtụ buru ibu. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.
Mmejuputa n'ezie n'ụwa
Na-akwado onye enyemaka olu Duplex nke Kyutai's Moshi ka o nwee ike ige ntị na ikwu okwu n'otu oge
Ngosipụta akara okwu n'ụdị asụsụ maka ntụgharị okwu-gaa-okwu ozugbo
Oku olu dị obere bitrate (~ 1.1 kbps) maka ọnọdụ netwọkụ adịghị mma ma ọ bụ mkpọkọ
Ịkwado ụda olu maka imepụta okwu na pipeline ederede gaa n'okwu na-atụgharị uche dị ka ederede
Usoro mmejuputa
Mimi Streaming Audio Codec na omume
Na-akwado onye enyemaka olu Duplex nke Kyutai's Moshi ka o nwee ike ige ntị na ikwu okwu n'otu oge.
Ịkwanye onye enyemaka nke Kyutai's Moshi zuru-duplex ka o wee nwee ike ige ntị ma kwuo okwu n'otu oge Otu dị iche iche na-enweta nsonaazụ kacha mma mgbe ha na-akọwapụta ọnụ ụzọ dị mma n'ihu, na-eme ka ụzọ mmadụ si abawanye maka ọnụ okwu, ma soro ma uru nrụpụta yana ụgwọ njehie na oge.
Mimi Streaming Audio Codec na omume
Ngosipụta akara okwu n'ụdị asụsụ maka ntụgharị okwu-gaa-okwu ozugbo.
Ihe nrịbama okwu gụgharia n'ụdị asụsụ maka ntụgharị okwu n'okwu gaa n'okwu Otu dị iche iche na-enwetakarị nsonaazụ kacha mma mgbe ha kọwapụtara ọnụ ụzọ dị mma n'ihu, debe ụzọ nkwalite mmadụ maka oke ikpe, ma soro ma uru nrụpụta yana ọnụ ahịa njehie ka oge na-aga.
Mimi Streaming Audio Codec na omume
Oku olu dị obere bitrate (~ 1.1 kbps) maka ọnọdụ netwọkụ adịghị mma ma ọ bụ mkpọkọ.
Oku olu-obere-bitrate (~ 1.1 kbps) maka ọnọdụ netwọkụ dara ogbenye ma ọ bụ nke juru ebe niile Otu dị iche iche na-enweta nsonaazụ kacha mma mgbe ha kọwapụta ọnụ ụzọ dị mma n'ihu, na-edobe ụzọ ịrị elu mmadụ maka ikpe ihu, ma soro ma uru nrụpụta yana ụgwọ njehie na oge.
Mimi Streaming Audio Codec na omume
Ịkwado ụda olu maka imepụta okwu na pipeline ederede gaa n'okwu na-atụgharị uche dị ka ederede.
Tokenizing audio maka generative okwu na ederede-na-okwu pipeline na-atụgharị uche na ụda dị ka ederede Otu na-emekarị na-enweta mma pụta mgbe ha na-akọwa àgwà ọnụ ụzọ n'ihu, na-na-na mmadụ escalation ụzọ maka ihu ikpe, na soro ma arụpụtaghị uru na njehie na-eri na oge.
Ihe ize ndụ & okporo ụzọ nche
Iji olu eme ihe na ihe egwu mpụta ga-abawanye mgbe nkwenye na-efu.
Izi ezi nwere ike ịdaba n'ofe ụda olu, olumba ma ọ bụ gburugburu mkpọtụ.
Enwere ike imehie ọdịyo sịntetik dị ka ezigbo okwu na-enweghị akara doro anya.
Map mmejuputa
Nweta nkwenye doro anya maka ijide olu, imechi, na ijigharị.
Nweta nkwenye doro anya maka ijide olu, imechi, na ijigharị. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.
Nwale ogo n'ofe ndị na-ekwu okwu dị iche iche yana ọnọdụ ndabere.
Nwale ogo n'ofe ndị na-ekwu okwu dị iche iche yana ọnọdụ ndabere. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.
Kọwaa mgbe mmadụ ga-enyocha ma ọ bụ kwado nsonye.
Kọwaa mgbe mmadụ ga-enyocha ma ọ bụ kwado nsonye. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.
Deba aha ọdịyo sịntetik ma debe ndekọ ihe ndekọ maka ịza ajụjụ.
Deba aha ọdịyo sịntetik ma debe ndekọ ihe ndekọ maka ịza ajụjụ. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.