አጠቃላይ እይታ
ሳውንድ ስቶርም Google ኦዲዮ ትውልድ ሞዴል ሲሆን ንግግር እና ድምጽ በአንድ ጊዜ ከአንድ ቶከን ይልቅ በትይዩ የሚያሰራ ሲሆን ይህም ከፍተኛ ጥራት ያለው የድምጽ ውህደት በሚያስደንቅ ሁኔታ ፈጣን ያደርገዋል። ታማኝነትን ሳይከፍል ለረጅም ክሊፖች ከደቂቃ ወደ ሰከንድ የትውልድ መዘግየትን ስለሚቀንስ ጠቃሚ ነው።
SoundStorm Parallel Audio Generation ንግግርን፣ ሙዚቃን እና ድምጽን ለግንኙነት፣ ተደራሽነት እና የሚዲያ ምርት በሚቀይሩ የኦዲዮ-AI የስራ ፍሰቶች ውስጥ ተቀምጧል።
ጥልቅ ዳይቭ
በ2023 በGoogle የተዋወቀው ሳውንድ ስቶርም እንደ ዲስትሪክት አኮስቲክ ቶከኖች SoundStream ተብሎ ከሚጠራው የነርቭ ኮዴክ ድምጽ ያመነጫል። እንደ AudioLM ያሉ ቀደምት ሞዴሎች እነዚህን ቶከኖች በራስ-ሰር በማዘጋጀት እያንዳንዱን ማስመሰያ በቅደም ተከተል ይተነብያሉ፣ ይህም ለረጅም ድምጽ ቀርፋፋ ነው። SoundStorm ይልቁንስ እንደ MaskGIT ካሉ የምስል ማመንጨት ሞዴሎች የተበደረው ራስ-ሰር ያልሆነ፣ ጭንብል ላይ የተመሰረተ አካሄድ ይጠቀማል። በአብዛኛዎቹ ጭንብል በተሸፈኑ ቶከኖች ይጀምራል እና በትይዩ ብዙ ምልክቶችን በአንድ ጊዜ በመተንበይ በጥቂት የዲኮዲንግ ደረጃዎች ውስጥ ደጋግሞ ይሞላል። በትርጉም ቶከኖች (እንደ AudioLM ወይም SPEAR-TTS ካለው ሞዴል) የ 30 ሰከንድ የተፈጥሮ ውይይት በግማሽ ሰከንድ TPU ላይ ማዋሃድ ይችላል፣ ከአውቶሬግረስሲቭ መነሻ መስመሮች በግምት በ100 እጥፍ ፍጥነት ያለው ጥራቱን እና የተናጋሪውን ወጥነት በማዛመድ።
ቴክኒካዊ ግንዛቤ
SoundStorm ከSoundStream የቀሪ ቬክተር መለኪያ (RVQ) ደረጃዎች ተዋረድን ሞዴል ያደርጋል። በስልጠና ወቅት የዘፈቀደ ቶከኖች ተሸፍነዋል እና ሞዴሉ እነሱን ለመተንበይ ይማራል። በመተማመን ላይ የተመሰረተ ትይዩ ኮድ ማውጣትን ያካሂዳል፡ በእያንዳንዱ ድግግሞሽ ሁሉንም የተሸፈኑ ቶከኖች ይተነብያል፣ በጣም የሚተማመኑትን ይጠብቃል እና የቀረውን እንደገና ጭምብል ያደርጋል። በመጀመሪያ ሻካራ የRVQ ደረጃዎችን ይፈታዋል፣ ከዚያም ጥሩ የሆኑትን፣ ከቶከን-ቶከን ትውልድ በጣም ባነሰ ደረጃዎች ወደ ሙሉ ኦዲዮ ይደርሳል።
የ SoundStorm ትይዩ ኦዲዮ ማመንጨትን መቆጣጠር
ሳውንድ ስቶርም Google ኦዲዮ ትውልድ ሞዴል ሲሆን ንግግር እና ድምጽ በአንድ ጊዜ ከአንድ ቶከን ይልቅ በትይዩ የሚያሰራ ሲሆን ይህም ከፍተኛ ጥራት ያለው የድምጽ ውህደት በሚያስደንቅ ሁኔታ ፈጣን ያደርገዋል። ታማኝነትን ሳይከፍል ለረጅም ክሊፖች ከደቂቃ ወደ ሰከንድ የትውልድ መዘግየትን ስለሚቀንስ ጠቃሚ ነው። SoundStorm Parallel Audio Generation ንግግርን፣ ሙዚቃን እና ድምጽን ለግንኙነት፣ ተደራሽነት እና የሚዲያ ምርት በሚቀይሩ የኦዲዮ-AI የስራ ፍሰቶች ውስጥ ተቀምጧል። ጥልቅ ግንዛቤን ለመገንባት፣ SoundStorm Parallel Audio Generationን እንደ የክወና ሞዴል፣ አንድ ባህሪ ሳይሆን፡ የሚፈለጉትን ውጤቶች ይግለጹ፣ ግምቶችን ያብራሩ፣ እና ስርዓቱ የባለሙያዎችን ፍርድ ከሚያስፈልገው ነገር በአስተማማኝ ሁኔታ ለይ።
በተግባር፣ SoundStorm Parallel Audio Generation የሚጠቀሙ ጠንካራ ቡድኖች ጥራትን፣ መዘግየትን እና ፍቃድን እንደ የማሰማራቱ ስትራቴጂ አስፈላጊ ክፍሎች አድርገው ይቆጥራሉ። ግልጽ የስኬት መስፈርቶችን ይመዘግባሉ፣ በተጨባጭ መረጃ እና የስራ ፍሰቶች ላይ ይፈትሻሉ፣ እና የአንድ ጊዜ ቤንችማርክ ከማሸነፍ ይልቅ በተስተዋሉ የውድቀት ቅጦች ላይ ተመስርተው ይደግማሉ። ይህ የንድፈ ሃሳባዊ ግንዛቤ በምርት፣ ፖሊሲ እና ኦፕሬሽኖች ላይ ወደ ዘላቂ አቅም የሚቀየርበት ነው።
በጽሑፍ፣ በትረካ እና በድምፅ በይነገጾች ተደራሽነትን ያሻሽላል። በተመሳሳይ ጊዜ፣ ፍቃድ ሲጎድል የድምጽ አላግባብ መጠቀም እና የማስመሰል አደጋዎች ይጨምራሉ። በጣም ጠንካራው አካሄድ የሙከራ ፍጥነትን ከአስተዳደር ዲሲፕሊን ጋር ማጣመር ነው፡ አብራሪዎችን ማስኬድ፣ ማስረጃን መያዝ፣ የውሳኔ ምዝግብ ማስታወሻዎችን ማተም እና የሞዴል ባህሪ፣ የተጠቃሚ የሚጠበቁ እና የቁጥጥር መስፈርቶች ሲዳብሩ ጥበቃዎችን ያለማቋረጥ ማዘመን ነው።
ስልታዊ ተጽእኖ
በጽሑፍ፣ በትረካ እና በድምፅ በይነገጾች ተደራሽነትን ያሻሽላል።
በጽሑፍ፣ በትረካ እና በድምፅ በይነገጾች ተደራሽነትን ያሻሽላል። ከፍተኛ ጥራት ባለው ማሰማራት ውስጥ፣ ይህ ወደሚለካ የአሠራር ደንቦች፣ የባለቤትነት ወሰኖች እና ተደጋጋሚ የግምገማ ሥነ ሥርዓቶች ይተረጎማል ስለዚህ ቡድኖች አሻሚነትን ከማስፋት ይልቅ በራስ መተማመንን ሊጨምሩ ይችላሉ።
የሚዲያ ቡድኖች በትንሽ በጀቶች የተጣራ ድምጽ በፍጥነት መላክ ይችላሉ።
የሚዲያ ቡድኖች በትንሽ በጀቶች የተጣራ ድምጽ በፍጥነት መላክ ይችላሉ። ከፍተኛ ጥራት ባለው ማሰማራት ውስጥ፣ ይህ ወደሚለካ የአሠራር ደንቦች፣ የባለቤትነት ወሰኖች እና ተደጋጋሚ የግምገማ ሥነ ሥርዓቶች ይተረጎማል ስለዚህ ቡድኖች አሻሚነትን ከማስፋት ይልቅ በራስ መተማመንን ሊጨምሩ ይችላሉ።
ከደንበኛ ጋር የሚገናኙ ስርዓቶች የንግግር ግንኙነቶችን በትልቁ ደረጃ ማካሄድ ይችላሉ።
ከደንበኛ ጋር የሚገናኙ ስርዓቶች የንግግር ግንኙነቶችን በትልቁ ደረጃ ማካሄድ ይችላሉ። ከፍተኛ ጥራት ባለው ማሰማራት ውስጥ፣ ይህ ወደሚለካ የአሠራር ደንቦች፣ የባለቤትነት ወሰኖች እና ተደጋጋሚ የግምገማ ሥነ ሥርዓቶች ይተረጎማል ስለዚህ ቡድኖች አሻሚነትን ከማስፋት ይልቅ በራስ መተማመንን ሊጨምሩ ይችላሉ።
የእውነተኛ-ዓለም አተገባበር
ከአንድ ሰከንድ በታች ለኤአይአይ ድምጽ ረዳቶች የ30 ሰከንድ የንግግር ንግግሮችን መፍጠር
የባለብዙ-ዙር ንግግሮችን ከወጥነት የተናጋሪ ድምፆች ጋር ለፕሮቶቲፕ ማቀናጀት
ዝቅተኛ መዘግየት ጽሑፍ-ወደ-ንግግር አውቶማቲክ ሞዴሎች በሚዘገዩባቸው በይነተገናኝ ወኪሎች ውስጥ ኃይል መስጠት
በትይዩ የአኮስቲክ ቶከኖችን በመሙላት ረጅም ቅርጽ ያለው የተተረከ ኦዲዮን በፍጥነት ማምረት
የትግበራ ቅጦች
SoundStorm ትይዩ ኦዲዮ ትውልድ በተግባር
ከአንድ ሰከንድ በታች ለኤአይአይ ድምጽ ረዳቶች የ30 ሰከንድ የንግግር ንግግሮችን መፍጠር።
የ 30 ሰከንድ የንግግር ንግግሮችን በሁለተኛው ቡድን ውስጥ ለ AI ድምጽ ረዳቶች ማፍለቅ ብዙውን ጊዜ የጥራት ደረጃዎችን ከፊት ሲገልጹ የተሻለ ውጤት ያስገኛል ፣ ለጫፍ ጉዳዮች የሰው ልጅ እድገት መንገድን ይጠብቃል ፣ እና ሁለቱንም የምርታማነት ግኝቶችን እና የስህተት ወጪዎችን በጊዜ ሂደት ይከታተሉ።
SoundStorm ትይዩ ኦዲዮ ትውልድ በተግባር
የባለብዙ-ዙር ንግግሮችን ከወጥነት የተናጋሪ ድምፆች ጋር ለፕሮቶቲፕ ማቀናጀት።
የባለብዙ ዙር ንግግሮችን ከወጥነት የተናጋሪ ድምጽ ጋር በማዋሃድ ለፕሮቶታይፕ ቡድኖች ብዙውን ጊዜ የጥራት ደረጃዎችን ፊት ለፊት ሲገልጹ፣ የሰው ልጅ መሻሻል መንገድን ለዳር ጉዳዮች ሲያደርጉ እና ሁለቱንም የምርታማነት ትርፍ እና የስህተት ወጪዎችን በጊዜ ሂደት ሲከታተሉ የተሻለ ውጤት ያገኛሉ።
SoundStorm ትይዩ ኦዲዮ ትውልድ በተግባር
ዝቅተኛ መዘግየት ጽሑፍ-ወደ-ንግግር አውቶማቲክ ሞዴሎች በሚዘገዩባቸው በይነተገናኝ ወኪሎች ውስጥ ኃይል መስጠት።
በይነተገናኝ ወኪሎች ውስጥ ዝቅተኛ መዘግየት ጽሑፍ-ወደ-ንግግር ማብቃት ቡድኖች ብዙውን ጊዜ የጥራት ደረጃዎችን ፊት ለፊት ሲገልጹ የተሻለ ውጤት ያገኛሉ፣ ለዳር ጉዳዮች የሰው ልጅ እድገት መንገድን ይጠብቃሉ፣ እና ሁለቱንም የምርታማነት ግኝቶችን እና የስህተት ወጪዎችን በጊዜ ሂደት ይከታተላሉ።
SoundStorm ትይዩ ኦዲዮ ትውልድ በተግባር
በትይዩ የአኮስቲክ ቶከኖችን በመሙላት ረጅም ቅርጽ ያለው የተተረከ ኦዲዮን በፍጥነት ማምረት።
በትይዩ ቡድኖች ውስጥ የአኮስቲክ ቶከኖችን በመሙላት የረጅም ጊዜ የተተረካ ድምጽን በፍጥነት ማምረት ብዙውን ጊዜ የጥራት ደረጃዎችን ከፊት ሲወስኑ የተሻለ ውጤት ያስገኛል፣ ለዳር ጉዳዮች የሰው ልጅ እድገት መንገድን ሲጠብቅ እና ሁለቱንም የምርታማነት ግኝቶችን እና የስህተት ወጪዎችን በጊዜ ሂደት መከታተል።
አደጋዎች እና የጥበቃ መንገዶች
ስምምነት ሲጠፋ የድምፅ አላግባብ መጠቀም እና የማስመሰል አደጋዎች ይጨምራሉ።
ትክክለኛነት በአነጋገር ዘዬዎች፣ ቀበሌኛዎች ወይም ጫጫታ አካባቢዎች ላይ ሊወድቅ ይችላል።
ሰራሽ ኦዲዮ ግልጽ ምልክት ሳይደረግበት ለትክክለኛ ንግግር ሊሳሳት ይችላል።
የትግበራ ፍኖተ ካርታ
ለድምጽ ቀረጻ፣ ክሎኒንግ እና እንደገና ጥቅም ላይ ለማዋል ግልጽ የሆነ ፈቃድ ያግኙ።
ለድምጽ ቀረጻ፣ ክሎኒንግ እና እንደገና ጥቅም ላይ ለማዋል ግልጽ የሆነ ፈቃድ ያግኙ። እያንዳንዱን እርምጃ እንደማስረጃ በር ያዙት፡ መመዘኛዎቹ ካልተሟሉ፣ መልቀቅን ለአፍታ አቁም፣ ክፍተቱን ይዝጉ እና ከዚያ ብቻ አጠቃቀምን ያስፋፉ።
በተለያዩ የድምጽ ማጉያዎች እና የበስተጀርባ ሁኔታዎች ላይ ጥራትን ይሞክሩ።
በተለያዩ የድምጽ ማጉያዎች እና የበስተጀርባ ሁኔታዎች ላይ ጥራትን ይሞክሩ። እያንዳንዱን እርምጃ እንደማስረጃ በር ያዙት፡ መመዘኛዎቹ ካልተሟሉ፣ መልቀቅን ለአፍታ አቁም፣ ክፍተቱን ይዝጉ እና ከዚያ ብቻ አጠቃቀምን ያስፋፉ።
አንድ ሰው መቼ ውጤቶችን መገምገም ወይም ማጽደቅ እንዳለበት ይግለጹ።
አንድ ሰው መቼ ውጤቶችን መገምገም ወይም ማጽደቅ እንዳለበት ይግለጹ። እያንዳንዱን እርምጃ እንደማስረጃ በር ያዙት፡ መመዘኛዎቹ ካልተሟሉ፣ መልቀቅን ለአፍታ አቁም፣ ክፍተቱን ይዝጉ እና ከዚያ ብቻ አጠቃቀምን ያስፋፉ።
ሰው ሰራሽ ኦዲዮን ይሰይሙ እና ለተጠያቂነት የፕሮቨንስ መዝገቦችን ያስቀምጡ።
ሰው ሰራሽ ኦዲዮን ይሰይሙ እና ለተጠያቂነት የፕሮቨንስ መዝገቦችን ያስቀምጡ። እያንዳንዱን እርምጃ እንደማስረጃ በር ያዙት፡ መመዘኛዎቹ ካልተሟሉ፣ መልቀቅን ለአፍታ አቁም፣ ክፍተቱን ይዝጉ እና ከዚያ ብቻ አጠቃቀምን ያስፋፉ።