DiffWave ስርጭት Vocoder መመሪያ

አጠቃላይ እይታ

It brought diffusion models to high-fidelity speech, rivaling GANs and WaveNet without adversarial training.

ጥልቅ ዳይቭ

DiffWave፣ በኮንግ እና ሌሎች አስተዋወቀ። እ.ኤ.አ. በ 2020 ፣ ውድቅ የተደረገውን ስርጭት ፕሮባቢሊቲካዊ ሞዴል ማዕቀፍ በጥሬ ድምጽ ላይ ይተገበራል። በሥልጠና ጊዜ ቀስ በቀስ የጋውሲያን ድምጽ ወደ ንፁህ ሞገድ በበርካታ እርከኖች ይጨምረዋል፣ ከዚያም ጫጫታውን በየደረጃው ለመተንበይ እና ለማስወገድ ኔትወርክን ይማራል። በትውልዱ ጊዜ ከንፁህ ጩኸት ይጀምራል እና ተቃራኒውን ሂደት ያካሂዳል ፣ በሜል-ስፔክትሮግራም ላይ ፣ ንጹህ ንግግርን ለማገገም። አከርካሪው ከናሙናዎች ይልቅ ጫጫታውን የሚተነብይ WaveNetን የሚመስል ራስ-ሰር ያልሆነ ፣ የሰፋ-convolution አውታረ መረብ ነው። DiffWave በጥራት ከጠንካራ ቮኮደሮች ጋር ይዛመዳል እና በተለይም ጠንካራ ነው፣ ምክንያታዊ ያልሆነ ቅድመ ሁኔታ ንግግር እና በድምጽ ማጉያዎች ላይ ወጥነት ያለው ውጤትን ያመጣል። ዋናው ግብይት ፍጥነት ነው፡ የናሙና ናሙና ከደርዘን እስከ ሺዎች የሚቆጠሩ እርምጃዎችን ይፈልጋል፣ ምንም እንኳን ፈጣን መርሃ ግብሮች ይህንን ወደ ስድስት ጥቂቶች ቢቀንሱም።

ቴክኒካዊ ግንዛቤ

DiffWave ቀላል ክብደት ያለው L2 አላማን በመጠቀም በዘፈቀደ የማሰራጨት ደረጃ ላይ የሚጨምረውን ድምጽ እንዲተነብይ ኔትወርክን በማሰልጠን የመረጃ ስርጭትን ቅልመት በተዘዋዋሪ ይማራል። ናሙና ቋሚ የድምጽ መርሃ ግብር ይለውጣል, እና የእርምጃዎች ብዛት ለፍጥነት ጥራት ይገበያያል; ተመራማሪዎች በጥንቃቄ የተመረጡ ስድስት እርከኖች ያሏቸው አጫጭር መርሃ ግብሮች አረጋግጠዋል ፣ ይህም ታማኝነትን ይጠብቃል ፣ ይህም የሺህ ደረጃ ሂደቱን ወደ ተግባራዊ በጣም ቅርብ ወደሆነ ነገር ይለውጣል ።

ስልታዊ ተጽእኖ

መድረስ እና መድረስ

በጽሑፍ፣ በትረካ እና በድምፅ በይነገጾች ተደራሽነትን ያሻሽላል።

ወጪ እና በጀት

የሚዲያ ቡድኖች በትንሽ በጀቶች የተጣራ ድምጽ በፍጥነት መላክ ይችላሉ።

ፍጥነት እና ልኬት

ከደንበኛ ጋር የሚገናኙ ስርዓቶች የንግግር ግንኙነቶችን በትልቁ ደረጃ ማካሄድ ይችላሉ።

የ DiffWave ስርጭት Vocoder የወደፊት

DiffWave የስርጭት ቮኮደሮችን እና እንደ ፕሪዮግራድ እና ፋስትዲፍ ያሉ ፈጣን ተተኪዎችን slash የእርምጃ ሒሳብ አስጀምሯል። መስኩ የስርጭት የተረጋጋ ስልጠና እና ጥንካሬን በመጠበቅ የፍጥነት ክፍተቱን በGAN vocoders በመዝጋት በነጠላ-ደረጃ ስርጭት ናሙና ቴክኒኮች ላይ በማጥለቅለቅ እና ወጥነት ባለው ሞዴል ቴክኒኮች እየተጣመረ ነው። የስርጭት ሐሳቦች ወደ ሙዚቃ፣ ነርቭ ኮዴኮች እና የሞድ ሽፋን አስፈላጊ ወደሆኑበት ሁለንተናዊ የድምጽ ትውልድ የበለጠ እንዲሰራጭ ይጠብቁ።

የእውነተኛ-ዓለም አተገባበር

ከፍተኛ ታማኝነት ያለው የነርቭ ጽሑፍ-ወደ-ንግግር የኋላ ጫፎች ያልተረጋጋ የ GAN ስልጠናን ያስወግዳሉ

ለመረጃ መጨመር እና ለድምጽ ምርምር ቅድመ ሁኔታ የሌለው የንግግር ማመንጨት

አንድ ሞዴል ብዙ ድምፆችን ያለማቋረጥ የሚያስተናግድበት የድምጽ ማጉያ-ጠንካራ የድምፅ ውህደት

ለፈጣን-ናሙና ስርጭት ምርምር የተፈተነ፣ አጭር የድምጽ መርሐ ግብሮችን በእውነተኛ ጊዜ ኦዲዮ ላይ በመተግበር

አደጋዎች እና የጥበቃ መንገዶች

ስምምነት ሲጠፋ የድምፅ አላግባብ መጠቀም እና የማስመሰል አደጋዎች ይጨምራሉ።

ትክክለኛነት በአነጋገር ዘዬዎች፣ ቀበሌኛዎች ወይም ጫጫታ አካባቢዎች ላይ ሊወድቅ ይችላል።

ሰራሽ ኦዲዮ ግልጽ ምልክት ሳይደረግበት ለትክክለኛ ንግግር ሊሳሳት ይችላል።

የትግበራ ፍኖተ ካርታ

ለድምጽ ቀረጻ፣ ክሎኒንግ እና እንደገና ጥቅም ላይ ለማዋል ግልጽ የሆነ ፈቃድ ያግኙ።

በተለያዩ የድምጽ ማጉያዎች እና የበስተጀርባ ሁኔታዎች ላይ ጥራትን ይሞክሩ።

አንድ ሰው መቼ ውጤቶችን መገምገም ወይም ማጽደቅ እንዳለበት ይግለጹ።

ሰው ሰራሽ ኦዲዮን ይሰይሙ እና ለተጠያቂነት የፕሮቨንስ መዝገቦችን ያስቀምጡ።

ማሰስዎን ይቀጥሉ

ድምጽ AI

የንግግር ስርዓቶች ቋንቋን እንዴት እንደሚያውቁ እና እንደሚያመነጩ ይወቁ።

መመሪያ ያንብቡ

AI ሙዚቃ

ዘመናዊ የሙዚቃ-ትውልድ መሳሪያዎችን እና ገደቦችን ይረዱ።

መመሪያ ያንብቡ

Free newsletter

Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.

One email each weekday. Unsubscribe in one click. We never sell or share your address.

Test yourself

Take the DiffWave Diffusion Vocoder quiz

Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.

ጥያቄ ጀምር

Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation

ቀጣይ መመሪያ

የተረጋጋ የድምጽ ድብቅ ስርጭት

ቀጣዩን መመሪያ ያንብቡ ሁሉንም ጥያቄዎች ያስሱ

በተደጋጋሚ የሚጠየቁ ጥያቄዎች

What is DiffWave Diffusion Vocoder?

DiffWave በሜል-ስፔክትሮግራም ላይ የተፈጠረ የዘፈቀደ ድምፅን ወደ ሞገድ ቅርጽ በመጥራት ኦዲዮን የሚያዋህድ ስርጭትን መሰረት ያደረገ ቮኮደር ነው። የስርጭት ሞዴሎችን ወደ ከፍተኛ ታማኝነት ንግግር፣ ተቀናቃኝ GANs እና WaveNet ያለ ተቃራኒ ስልጠና አመጣ።

DiffWave በፍላጎት ጊዜ ኦዲዮን እንዴት ያመነጫል?

DiffWave ከ Gaussian ጫጫታ ይጀምራል እና የተገላቢጦሹን ስርጭት ሂደት ያካሂዳል፣ በሜል-ስፔክትሮግራም ላይ ተስተካክሎ እያለ በተደጋጋሚ ውድቅ ያደርጋል፣ የሞገድ ፎርሙን ለማምረት።

የ DiffWave አውታረ መረብ በስልጠና ወቅት በትክክል ለመተንበይ ምን ይማራል?

DiffWave ክብደት ያለው L2 ኪሳራን በመጠቀም በዘፈቀደ በተመረጠው የስርጭት ደረጃ ላይ የተጨመረውን የጋውሲያን ድምጽ ለመተንበይ ኔትወርክን ያሰለጥናል።

ከጋን ቮኮደሮች ጋር ሲወዳደር የዲፍ ዌቭ ዋና ተግባራዊ እክል ምንድን ነው?

ናይቭ ስርጭት ናሙና ብዙ የተገላቢጦሽ ደረጃዎች ያስፈልገዋል። ምንም እንኳን ፈጣን መርሃ ግብሮች ቢረዱም ፣ የመድገም ሂደት ዋናው የፍጥነት ዋጋ ነው።

DiffWave በስልጠና ላይ ከ GAN vocoders ምን ጥቅም አለው?

የስርጭት ሞዴሎች የተቃዋሚ GAN ስልጠና ሊደርስበት የሚችለውን አለመረጋጋት ወደ ጎን በመተው በተረጋጋ የተሃድሶ አይነት ዓላማ የሰለጠኑ ናቸው።

የ DiffWave ጫጫታ-ትንበያ አውታረመረብ ከየትኛው አርክቴክቸር ጋር ይመሳሰላል?

DiffWave ከ WaveNet ጋር የሚመሳሰል የተስፋፉ ውዝግቦች የጀርባ አጥንትን ይጠቀማል፣ነገር ግን ከድምጽ ናሙናዎች ይልቅ ጫጫታን ይተነብያል።