ሚሚ ዥረት ኦዲዮ ኮዴክ
ሚሚ በእውነተኛ ጊዜ ንግግርን ወደ ጥቃቅን ጅረቶች የሚጨምቅ የነርቭ ኦዲዮ ኮዴክ ነው፣ ስለዚህ AI ሞዴሎች በጣም ዝቅተኛ መዘግየት ማዳመጥ እና መናገር ይችላሉ።
አጠቃላይ እይታ
It is the audio backbone behind Kyutai's Moshi voice model.
ጥልቅ ዳይቭ
እ.ኤ.አ. በ2024 በፈረንሣይ ክዩታይ የተለቀቀው ሚሚ 24 kHz ኦዲዮን ወደ ዲስክሬትድ ቶከኖች በግምት በ1.1 ኪባ እና በሰከንድ 12.5 ቶከን የሚቀይር የነርቭ ኮድ ነው። በራሱ ቁጥጥር ከሚደረግ የንግግር ሞዴል (WavLM) እና የድምጽ ሸካራነትን የሚይዙ በርካታ 'አኮስቲክ' ደረጃዎችን ወደ 'ትርጉም' የመጀመሪያ ደረጃ በመከፋፈል ኢንኮደር-ዲኮደርን ይጠቀማል። በወሳኝ መልኩ እሱ ሙሉ በሙሉ እየተለቀቀ እና መንስኤ ነው፡ ሙሉ ክሊፕ ከመጠበቅ ይልቅ ኦዲዮ ሲመጣ ቶከኖችን ያስወጣል፣ ይህም ወደ 80 ሚሴ የሚጠጋ መዘግየት ነው። ይህ የቋንቋ ሞዴል ንግግሩን እንደ የጽሑፍ ቶከኖች እንዲይዝ ያስችለዋል፣ይህም ሞሺ በድጋሚ የተሰራውን ኦዲዮ ለመረዳት የሚያስቸግር እና ተፈጥሯዊ ሆኖ እንዲወያይ ያስችለዋል።
ቴክኒካዊ ግንዛቤ
የሚሚ ማታለል የተከፈለ-RVQ እቅድ ነው። የመጀመሪያው የኮድ ደብተር ከዋቭኤልኤም የተካተቱትን ነገሮች ለማዛመድ በመጥፋት የሰለጠነ ነው፣ይህም ፎነቲክ 'ትርጉም' እንዲይዝ ያስገድዳል፣ ትይዩ አኮስቲክ ኮድ ደብተሮች ደግሞ የሞገድ ቅርጽ ዝርዝርን እንደገና ይገነባሉ። አንድ ትራንስፎርመር በጠርሙሱ ውስጥ ይሰራል፣ እና በዲኮደር ላይ የሚደርሰው ተቃራኒ (GAN) ኪሳራ የውጤት ጥራትን ያጎላል። የምክንያት ውዝግቦች ሁሉንም ነገር በዥረት እንዲለቁ ያቆያሉ፣ ስለዚህ መዘግየት ወደ 80 ሚሴ አካባቢ ይቆያል።
ስልታዊ ተጽእኖ
መድረስ እና መድረስ
በጽሑፍ፣ በትረካ እና በድምፅ በይነገጾች ተደራሽነትን ያሻሽላል።
ወጪ እና በጀት
የሚዲያ ቡድኖች በትንሽ በጀቶች የተጣራ ድምጽ በፍጥነት መላክ ይችላሉ።
ፍጥነት እና ልኬት
ከደንበኛ ጋር የሚገናኙ ስርዓቶች የንግግር ግንኙነቶችን በትልቁ ደረጃ ማካሄድ ይችላሉ።
የወደፊት ሚሚ ዥረት ኦዲዮ ኮዴክ
እንደ ሚሚ ያሉ ኮዴኮች በድምጽ እና በትልልቅ የቋንቋ ሞዴሎች መካከል መደበኛ በይነገጽ እንዲሆኑ፣የእውነተኛ ጊዜ የድምጽ ረዳቶችን ወደ 100 ሚሴ ምላሽ ጊዜዎች እንዲገፉ ይጠብቁ። ምርምር የተናጋሪ ማንነትን፣ ስሜትን እና ሙዚቃን በመጠበቅ የማስመሰያ ተመኖችን እያሽቆለቆለ ነው። ክዩታይ ክፍት ምንጭ ሚሚ እና ሞሺ ስለሆነ፣ ብዙ ክፍት የንግግር-ወደ-ንግግር ስርዓቶችን፣ በመሳሪያ ላይ ረዳቶችን እና እጅግ በጣም ዝቅተኛ-ባንድዊድዝ የድምጽ መገናኛ መሳሪያዎችን ሊዘራ ይችላል።
የእውነተኛ-ዓለም አተገባበር
የኪዩታይን ሞሺ ሙሉ ባለ ሁለትዮሽ ድምጽ ረዳትን በአንድ ጊዜ ማዳመጥ እና መናገር እንዲችል በማብቃት።
የንግግር ቶከኖችን ለእውነተኛ ጊዜ የንግግር-ወደ-ንግግር ትርጉም ወደ ቋንቋ ሞዴል በዥረት መልቀቅ
በጣም ዝቅተኛ-ቢትሬት የድምጽ ጥሪዎች (~1.1 kbps) ለደካማ ወይም ለተጨናነቀ የአውታረ መረብ ሁኔታዎች
ድምጽን ለትውልድ ንግግር እና ለንግግር ከጽሑፍ ወደ ንግግር ቧንቧዎች ማስመሰያ በጽሑፍ ድምጽ ምክንያት
አደጋዎች እና የጥበቃ መንገዶች
ስምምነት ሲጠፋ የድምፅ አላግባብ መጠቀም እና የማስመሰል አደጋዎች ይጨምራሉ።
ትክክለኛነት በአነጋገር ዘዬዎች፣ ቀበሌኛዎች ወይም ጫጫታ አካባቢዎች ላይ ሊወድቅ ይችላል።
ሰራሽ ኦዲዮ ግልጽ ምልክት ሳይደረግበት ለትክክለኛ ንግግር ሊሳሳት ይችላል።
የትግበራ ፍኖተ ካርታ
ለድምጽ ቀረጻ፣ ክሎኒንግ እና እንደገና ጥቅም ላይ ለማዋል ግልጽ የሆነ ፈቃድ ያግኙ።
በተለያዩ የድምጽ ማጉያዎች እና የበስተጀርባ ሁኔታዎች ላይ ጥራትን ይሞክሩ።
አንድ ሰው መቼ ውጤቶችን መገምገም ወይም ማጽደቅ እንዳለበት ይግለጹ።
ሰው ሰራሽ ኦዲዮን ይሰይሙ እና ለተጠያቂነት የፕሮቨንስ መዝገቦችን ያስቀምጡ።
ማሰስዎን ይቀጥሉ
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Mimi Streaming Audio Codec quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
ቀጣይ መመሪያ
የነርቭ ኦዲዮ ኮዴኮች
በተደጋጋሚ የሚጠየቁ ጥያቄዎች
What is Mimi Streaming Audio Codec?
ሚሚ በእውነተኛ ጊዜ ንግግርን ወደ ጥቃቅን ጅረቶች የሚጨምቅ የነርቭ ኦዲዮ ኮዴክ ነው፣ ስለዚህ AI ሞዴሎች በጣም ዝቅተኛ መዘግየት ማዳመጥ እና መናገር ይችላሉ። ከኪዩታይ ሞሺ ድምፅ ሞዴል በስተጀርባ ያለው የኦዲዮ የጀርባ አጥንት ነው።
ሚሚ እና የሞሺ ድምጽ ሞዴልን የለቀቁት የትኛው ቤተ ሙከራ ነው?
ሚሚ እና ሞሺ በ2024 በፈረንሣይ የምርምር ላብራቶሪ ኪዩታይ ተለቀቁ፣ ይህም ሁለቱንም ክፍት አድርጓል።
ሚሚ ለንግግር በሰከንድ ስንት ቶከኖች ታወጣለች?
ሚሚ 24 kHz ድምጽን ወደ 12.5 ቶከኖች በሴኮንድ በግምት በ1.1 ኪ.ባ. ታጭቃለች።
በሚሚ ውስጥ የመጀመሪያው (‹ትርጉም›) ኮድ ደብተር ምን ይይዛል?
የመጀመርያው የRVQ ደረጃ ከWavLM በማጣራት የሰለጠነው የትርጉም/የድምፅ ይዘትን ለመሸከም ሲሆን የኋለኞቹ ደረጃዎች ደግሞ የአኮስቲክ ዝርዝሮችን ይጨምራሉ።
ለምንድነው ሚሚ እንደ 'ዥረት' ወይም 'ምክንያት' የተገለጸችው?
ሚሚ ኦዲዮን በምክንያት ያስኬዳል እና ቶከኖችን በጨመረ መጠን ታወጣለች፣ ይህም ለቀጥታ ውይይት ወደ 80 ሚሴ ያህል መዘግየት ትሰጣለች።
ሚሚ ኦዲዮን ለማስቀመጥ የትኛውን የቁጥር ዘዴ ትጠቀማለች?
ሚሚ ቀሪ የቬክተር መጠንን ትጠቀማለች፣ በርካታ የኮድ ደብተሮችን በመደርደር እያንዳንዱ ወደ ቀዳሚው የበለጠ ዝርዝር ጉዳዮችን ይጨምራል።