MelGAN Generative Vocoder መመሪያ

አጠቃላይ እይታ

It mattered because it proved high-quality, non-autoregressive speech synthesis could run hundreds of times faster than real time on a GPU.

ጥልቅ ዳይቭ

MelGAN፣ በ Kumar et al. እ.ኤ.አ. በ 2019 በ WaveNet ጥቅም ላይ የዋለው ዘገምተኛ የናሙና-ናሙና ምልልስ ሳይኖር ኦዲዮን ያመነጫል። ጄነሬተሩ የሜል-ስፔክትሮግራም (በተለምዶ 80 ፍሪኩዌንሲ ባንዶች) እስከ የድምጽ ናሙና ፍጥነቱ ድረስ የሚይዙ የተዘበራረቁ ውዝግቦች ቁልል ነው፣ የተቀሩት ብሎኮች ተቀባይ መስኩን ለማስፋት የተዘረጉ ውዝግቦችን በመጠቀም። ዋናው ፈጠራ በተለያዩ የኦዲዮ ሚዛኖች (የመጀመሪያው ሞገድ እና ዝቅተኛ ናሙናዎች) የሚሰሩ በርካታ አድሎአውያንን ማሰልጠን ሲሆን እያንዳንዳቸው ተደራራቢ መስኮቶችን ይመለከታሉ። ከባህሪ ጋር የሚዛመድ ኪሳራ በእውነተኛ እና በሐሰት ኦዲዮ መካከል ያሉ አድሎአዊ እንቅስቃሴዎችን ያወዳድራል፣ የGAN ስልጠናን ያረጋጋል። ሞዴሉ በነርቭ-የድምጽ ደረጃዎች ትንሽ ነው እና በሲፒዩ ላይ እንኳን ከእውነተኛ ጊዜ በበለጠ ፍጥነት ይሰራል ፣ ይህም ለተከተተ እና በመሳሪያ ላይ የጽሑፍ-ወደ-ንግግር ተግባራዊ ያደርገዋል።

ቴክኒካዊ ግንዛቤ

የሜልጋን ባለብዙ-ልኬት አድሎአዊ ኦዲዮን ሙሉ፣ ግማሽ እና ሩብ ጥራት በመመልከት ሶስት ተመሳሳይ አውታረ መረቦችን ይጠቀማል፣ እያንዳንዱ የሚቀረጽ መዋቅር በተለያዩ ድግግሞሽ ክልሎች። በወሳኝ መልኩ፣ ሜልጋን ከባህሪይ-ተዛማጅ ኪሳራ (L1 ርቀት በአድሎአዊ ባህሪ ካርታዎች በእውነተኛ እና በተፈጠረው ኦዲዮ መካከል ያለው ርቀት) ከግልጽ የስፔክትሮግራም የመልሶ ግንባታ መጥፋት ይልቅ፣ ይህም ጄነሬተሩ ከእውነተኛው የኦዲዮ ስታቲስቲክስ ንብርብር በንብርብር እንዲዛመድ ያበረታታል።

ስልታዊ ተጽእኖ

መድረስ እና መድረስ

በጽሑፍ፣ በትረካ እና በድምፅ በይነገጾች ተደራሽነትን ያሻሽላል።

ወጪ እና በጀት

የሚዲያ ቡድኖች በትንሽ በጀቶች የተጣራ ድምጽ በፍጥነት መላክ ይችላሉ።

ፍጥነት እና ልኬት

ከደንበኛ ጋር የሚገናኙ ስርዓቶች የንግግር ግንኙነቶችን በትልቁ ደረጃ ማካሄድ ይችላሉ።

የሜልጋን አመንጪ ቮኮደር የወደፊት ዕጣ

ሜልጋን የጋን ቮኮደሮች ቤተሰብ ዘርቷል። ተተኪዎቹ፣ HiFi-GAN እና UnivNet፣ ፈጣኑን ከራስ ወዳድነት ነፃ የሆነ አካሄድን ጠብቀው ቢቆዩም ነገር ግን ባለብዙ ጊዜ እና ባለብዙ ጥራት አድሎአዊ ንፁህ ከፍተኛ ድግግሞሾችን አክለዋል። አርክቴክቸር የሚኖረው በመሣሪያ እና በዥረት TTS ላይ ሲሆን የቆይታ እና የሞዴል መጠን ጉዳይ እና የአድሎአዊ ሀሳቦቹ በነርቭ ኮዴኮች እና በሙዚቃ ማመንጨት ስርአቶች ላይ ተጽእኖ ማሳደራቸውን ቀጥለው የጠላት ስልጠና የአመለካከት ጥራትን ያሻሽላል።

የእውነተኛ-ዓለም አተገባበር

በተንቀሳቃሽ ስልክ ረዳቶች ውስጥ በመሣሪያ ላይ የጽሑፍ-ወደ-ንግግር ትንሽ ፈጣን ድምጽ ማጉያ የደመና ዙር ጉዞዎችን ያስወግዳል

የተናጋሪውን ሜል-ስፔክትሮግራምን ወደ ዒላማ ድምጽ የሚቀይሩ የእውነተኛ ጊዜ የድምፅ ቅየራ ቧንቧዎች

ዝቅተኛ መዘግየት ካለው ከተፈጠሩ ስፔክትሮግራሞች የቁምፊ ንግግርን የሚያቀናጁ የጨዋታ እና የአኒሜሽን መሳሪያዎች

የሜልጋን ባህሪ-ተዛማጅ ኪሳራ ለሙዚቃ እና ለድምፅ-ተፅእኖ ትውልድ እንደገና ጥቅም ላይ በሚውልበት የኦዲዮ GANs የምርምር መሰረቶች

አደጋዎች እና የጥበቃ መንገዶች

ስምምነት ሲጠፋ የድምፅ አላግባብ መጠቀም እና የማስመሰል አደጋዎች ይጨምራሉ።

ትክክለኛነት በአነጋገር ዘዬዎች፣ ቀበሌኛዎች ወይም ጫጫታ አካባቢዎች ላይ ሊወድቅ ይችላል።

ሰራሽ ኦዲዮ ግልጽ ምልክት ሳይደረግበት ለትክክለኛ ንግግር ሊሳሳት ይችላል።

የትግበራ ፍኖተ ካርታ

ለድምጽ ቀረጻ፣ ክሎኒንግ እና እንደገና ጥቅም ላይ ለማዋል ግልጽ የሆነ ፈቃድ ያግኙ።

በተለያዩ የድምጽ ማጉያዎች እና የበስተጀርባ ሁኔታዎች ላይ ጥራትን ይሞክሩ።

አንድ ሰው መቼ ውጤቶችን መገምገም ወይም ማጽደቅ እንዳለበት ይግለጹ።

ሰው ሰራሽ ኦዲዮን ይሰይሙ እና ለተጠያቂነት የፕሮቨንስ መዝገቦችን ያስቀምጡ።

ማሰስዎን ይቀጥሉ

ድምጽ AI

የንግግር ስርዓቶች ቋንቋን እንዴት እንደሚያውቁ እና እንደሚያመነጩ ይወቁ።

መመሪያ ያንብቡ

AI ሙዚቃ

ዘመናዊ የሙዚቃ-ትውልድ መሳሪያዎችን እና ገደቦችን ይረዱ።

መመሪያ ያንብቡ

Free newsletter

Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.

One email each weekday. Unsubscribe in one click. We never sell or share your address.

Test yourself

Take the MelGAN Generative Vocoder quiz

Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.

ጥያቄ ጀምር

Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation

ቀጣይ መመሪያ

DiffWave ስርጭት Vocoder

ቀጣዩን መመሪያ ያንብቡ ሁሉንም ጥያቄዎች ያስሱ

በተደጋጋሚ የሚጠየቁ ጥያቄዎች

What is MelGAN Generative Vocoder?

ሜልጋን በአንድ ፈጣን ወደፊት ማለፊያ ሜል-ስፔክትሮግራሞችን ወደ ጥሬ የድምጽ ሞገዶች የሚቀይር ሙሉ በሙሉ ኮንቮሉሽን ያለው GAN ላይ የተመሰረተ ቮኮደር ነው። ከፍተኛ ጥራት ያለው፣ ራስ-ሰር ያልሆነ የንግግር ውህድ በጂፒዩ ላይ ከእውነተኛ ጊዜ በመቶዎች የሚቆጠሩ ጊዜዎችን በፍጥነት ማካሄድ ስለሚችል አስፈላጊ ነው።

MelGAN ወደ ጥሬ የድምጽ ሞገድ የሚቀይረው ምን አይነት ግብአት ነው?

ሜልጋን ቮኮደር ነው፡ የአኮስቲክ ባህሪ ውክልና፣ ሜል-ስፔክትሮግራም ይወስዳል እና ተዛማጁን የሞገድ ቅርጽ ያዋህዳል።

ለምንድን ነው MelGAN በማጣቀሻው ከ WaveNet በጣም ፈጣን የሆነው?

WaveNet ናሙናዎችን አንድ በአንድ በራስ-ሰር ያመነጫል; የሜልጋን ኮንቮሉሽን ጄኔሬተር ሙሉውን የሞገድ ቅርጽ በአንድ ትይዩ ወደፊት ማለፊያ ያመርታል።

ሜልጋን ምን የተለየ አድሎአዊ ንድፍ አስተዋወቀ?

ሜልጋን በተለያዩ ሚዛኖች ያለውን መዋቅር ለመያዝ የመጀመሪያውን የሞገድ ቅርጽ እና የወረደውን ስሪቶች የሚመረምሩ በርካታ ተመሳሳይ አድሎአዊ አድራጊዎችን ይጠቀማል።

የሜልጋን የጠላት ስልጠናን ለማረጋጋት የሚረዳው የትኛው ኪሳራ ነው?

የባህሪ ማዛመጃው ኪሳራ በአድሎአዊ ባህሪ ካርታዎች መካከል ያለውን የL1 ርቀት ለእውነተኛ እና ለተፈጠረ ኦዲዮ፣ ጄነሬተሩን በመምራት እና ስልጠናን በማረጋጋት መካከል ያለውን ርቀት ይቀንሳል።

የሜልጋን ጀነሬተር ተቀባይ መስኩን እንዴት ይጨምራል?

የተዘረጉ ውዝግቦች ያላቸው ቀሪ ብሎኮች ተቀባዩ መስክን በብቃት ያሰፋሉ ፣ ይህም የጄነሬተሩን የረጅም ርቀት ጊዜያዊ መዋቅር እንዲቀርጽ ያስችለዋል።