SoundStream Neural Codec መመሪያ

አጠቃላይ እይታ

It matters because it beats traditional codecs like Opus at the same bitrate and powers modern generative audio models.

ጥልቅ ዳይቭ

በ2021 በGoogle አስተዋውቋል፣SoundStream ከሶስት ክፍሎች በአንድ ላይ የሰለጠኑ ሙሉ በሙሉ የነርቭ ኮዴክ ነው፡- ጥሬ ሞገድ ቅርፁን ወደ የታመቀ የቬክተሮች ቅደም ተከተል የሚቀይር፣ እነዚያን ቬክተሮችን የሚሰርዝ (RVQ) ቀሪ ቬክተር ኳንቲዘር (RVQ) እና አብዮታዊ ለውጥን የሚያፈርስ ነው። በሁለቱም የመልሶ ግንባታ ኪሳራ እና የGAN አይነት ባላንጣ አድሎአዊ የሰለጠነ ነው፣ ስለዚህ ውፅዓት በቁጥር ብቻ ከመቅረብ ይልቅ ተፈጥሯዊ ይመስላል። ጎልቶ የሚታየው ባህሪ 'ሊሰፋ የሚችል' ወይም ኳንትዘር-ማስቆያ ስልጠና ነው፡ ነጠላ ሞዴል ከ3 እስከ 18 ኪ.ቢ.ቢ ገደማ ባለው የቢትሬት ፍጥነት ላይ ብዙ ወይም ያነሱ የኳንትራይዘር ንብርብሮችን በመጠቀም በቀላሉ ሊሰራ ይችላል፣ ያለ ምንም ዳግም ስልጠና። በአንድ ሞዴሉ በስማርትፎን ሲፒዩ ላይ በሚሰራው በአንድ ሞዴሉ በ3 ኪባ /Kbps/ Opus በ12 ኪባ /ሰ /ሰ/ እንደሚበልጥ ተዘግቧል።

ቴክኒካዊ ግንዛቤ

ሞገድ ቅርጹ አብነት በሚቀንሱ በተደረደሩ ውዝግቦች ውስጥ ያልፋል፣ ይህም በእያንዳንዱ ክፈፍ አንድ መክተትን ይፈጥራል (ለምሳሌ 75 ክፈፎች/ሰከንድ)። RVQ በመቀጠል እያንዳንዱን መክተት እንደ የኮድ ደብተር ኢንዴክሶች ቁልል ያደርገዋል። ቢትሬት የፍሬም ፍጥነት የንቁ ኳንታይዘር ጊዜ ቢትስ ብዛት በኮድ ደብተር እኩል ነው። የኳንትዘር ማቋረጥ በዘፈቀደ የ RVQ ቁልል በስልጠና ወቅት ይቆርጠዋል፣ ይህም ቀደምት የኮድ ደብተሮች በጣም አስፈላጊ የሆነውን መረጃ እንዲይዙ ያስገድዳቸዋል ስለዚህም ኮዴክ በዝቅተኛ ዋጋዎች በሚያምር ሁኔታ ይቀንሳል።

ስልታዊ ተጽእኖ

መድረስ እና መድረስ

በጽሑፍ፣ በትረካ እና በድምፅ በይነገጾች ተደራሽነትን ያሻሽላል።

ወጪ እና በጀት

የሚዲያ ቡድኖች በትንሽ በጀቶች የተጣራ ድምጽ በፍጥነት መላክ ይችላሉ።

ፍጥነት እና ልኬት

ከደንበኛ ጋር የሚገናኙ ስርዓቶች የንግግር ግንኙነቶችን በትልቁ ደረጃ ማካሄድ ይችላሉ።

የ SoundStream Neural Codec የወደፊት

SoundStream አብነት አቋቁሟል ይህም በኋላ እንደ EnCodec እና DAC ያሉ ኮዴኮችን ያጣሩ፣ እና ልዩ ቶከኖቹ እንደ AudioLM እና MusicLM ላሉ አመንጪ ስርዓቶች መገኛ ሆነዋል። ዘሮች ወደ ዝቅተኛ ቢትሬት እንኳን የሚገፉ፣ በትርጉም የተዋቀሩ ቶከኖች ለቋንቋ-ሞዴል አይነት የድምጽ ማመንጫዎች ግብአቶች፣ እና ለቀጥታ ጥሪዎች፣ የመስሚያ መርጃዎች እና የመተላለፊያ ይዘት እና መዘግየት በጥብቅ በተገደቡበት መሳሪያ ላይ ይበልጥ ጥብቅ በሆነ መልኩ እንዲሰማሩ ይጠብቁ።

የእውነተኛ-ዓለም አተገባበር

በከፍተኛ ቢትሬት ከውርስ ኮዴኮች የበለጠ ግልጽ በሆነ ድምፅ ወደ ~3 ኪባ/ሰዎች የድምጽ ጥሪዎችን በመጭመቅ

የGoogle AudioLM እና MusicLM አመንጪ ሞዴሎችን የሚመገቡ ልዩ የኦዲዮ ቶከኖች በማመንጨት ላይ

በተንቀሳቃሽ መሳሪያዎች ላይ በቅጽበት ዝቅተኛ ባንድዊድ የድምጽ ዥረት በሲፒዩ ኮድ መፍታት እና መግለጽ

ሁሉንም የይዘት አይነቶችን በሚይዝ ነጠላ ሞዴል ውስጥ ሙዚቃን እና ድባብን በብቃት ማከማቸት ወይም ማስተላለፍ

አደጋዎች እና የጥበቃ መንገዶች

ስምምነት ሲጠፋ የድምፅ አላግባብ መጠቀም እና የማስመሰል አደጋዎች ይጨምራሉ።

ትክክለኛነት በአነጋገር ዘዬዎች፣ ቀበሌኛዎች ወይም ጫጫታ አካባቢዎች ላይ ሊወድቅ ይችላል።

ሰራሽ ኦዲዮ ግልጽ ምልክት ሳይደረግበት ለትክክለኛ ንግግር ሊሳሳት ይችላል።

የትግበራ ፍኖተ ካርታ

ለድምጽ ቀረጻ፣ ክሎኒንግ እና እንደገና ጥቅም ላይ ለማዋል ግልጽ የሆነ ፈቃድ ያግኙ።

በተለያዩ የድምጽ ማጉያዎች እና የበስተጀርባ ሁኔታዎች ላይ ጥራትን ይሞክሩ።

አንድ ሰው መቼ ውጤቶችን መገምገም ወይም ማጽደቅ እንዳለበት ይግለጹ።

ሰው ሰራሽ ኦዲዮን ይሰይሙ እና ለተጠያቂነት የፕሮቨንስ መዝገቦችን ያስቀምጡ።

ማሰስዎን ይቀጥሉ

ድምጽ AI

የንግግር ስርዓቶች ቋንቋን እንዴት እንደሚያውቁ እና እንደሚያመነጩ ይወቁ።

መመሪያ ያንብቡ

AI ሙዚቃ

ዘመናዊ የሙዚቃ-ትውልድ መሳሪያዎችን እና ገደቦችን ይረዱ።

መመሪያ ያንብቡ

Free newsletter

Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.

One email each weekday. Unsubscribe in one click. We never sell or share your address.

Test yourself

Take the SoundStream Neural Codec quiz

Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.

ጥያቄ ጀምር

Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation

ቀጣይ መመሪያ

የነርቭ ኦዲዮ ኮዴኮች

ቀጣዩን መመሪያ ያንብቡ ሁሉንም ጥያቄዎች ያስሱ

በተደጋጋሚ የሚጠየቁ ጥያቄዎች

What is SoundStream Neural Codec?

SoundStream የGoogle ከጫፍ እስከ ጫፍ ያለው የነርቭ ኦዲዮ ኮዴክ ንግግር እና ሙዚቃ ጥራትን በመጠበቅ እጅግ በጣም ዝቅተኛ በሆነ ቢትሬት የሚጨምቅ ነው። እንደ ኦፐስ ያሉ ባህላዊ ኮዴኮችን በተመሳሳይ ቢትሬት ስለሚያሸንፍ እና ዘመናዊ አመንጭ የኦዲዮ ሞዴሎችን ስለሚያበረታ አስፈላጊ ነው።

የ SoundStream ሥነ ሕንፃን ያካተቱት የትኞቹ ሦስት አካላት ናቸው?

SoundStream የተገነባው ከኮንቮሉሽን ኢንኮደር፣ የተካተቱትን ነገሮች የሚያሳጣ ቀሪ የቬክተር ኳንቲዘር እና ኮንቮሉሽን ዲኮደር፣ ሁሉም የሰለጠኑ ከጫፍ እስከ ጫፍ ነው።

አንድ ነጠላ የSoundStream ሞዴል እንደገና ሳይለማመድ ብዙ የተለያዩ ቢትሬትን እንዲያገለግል የሚፈቅደው የትኛው ዘዴ ነው?

በስልጠና ወቅት፣SoundStream በዘፈቀደ የኳንትራይዘር ንብርብሮችን ይወርዳል፣በግምት እርስዎ ከአንድ ሞዴል የተለያዩ ቢትሬትን ለመምታት ብዙ ወይም ያነሱ የRVQ ደረጃዎችን መጠቀም ይችላሉ።

በ Google የማዳመጥ ሙከራዎች በ 3 ኪ.ቢ.ቢ ላይ SoundStream የትኛውን ኮድ በ12 ኪ.ባ. እንደሚበልጥ ተዘግቧል?

ሳውንድ ዥረት በ 3 ኪ / ር ብቻ ይዛመዳል ወይም በስፋት ጥቅም ላይ የዋለውን Opus codec በ 12 ኪ.ባ. በርዕሰ-ጉዳይ የጥራት ግምገማዎች ላይ አሸነፈ።

SoundStream የውጤቱን ተፈጥሯዊ ድምጽ ለማድረግ ምን አይነት ተጨማሪ የስልጠና ምልክት ይጠቀማል?

ከመልሶ ግንባታ ጥፋቶች ባሻገር፣SoundStream ተቃራኒዎችን (GAN) አድሎአውያንን ይጠቀማል ስለዚህ ዳግመኛ ግንባታዎች በአሃዛዊ ቅርበት ብቻ ሳይሆን በማስተዋል እውነታዊ ይመስላል።

የSoundStream ቢትሬት ከኳንትራይተሮች ጋር እንዴት ይዛመዳል?

የቢትሬት ሚዛኖች ከንቁ RVQ ንብርብሮች ብዛት ጋር (የጊዜ ፍሬም ተመን ጊዜ ቢት በአንድ ኮድ ደብተር)፣ ስለዚህ ኳንትራይዘር መጨመር ቢትሬት እና ጥራትን ይጨምራል።