ትይዩ WaveGAN Vocoder መመሪያ

አጠቃላይ እይታ

It matters because it gives near-real-time, high-quality speech with a compact model.

ጥልቅ ዳይቭ

ቮኮደር የTTS ቧንቧ መስመር የመጨረሻ ደረጃ ነው፡ የአኮስቲክ ባህሪ ካርታ (በተለምዶ ሜል-ስፔክትሮግራም) ወደሚሰሙት ትክክለኛ የድምፅ ሞገድ ይቀይራል። በ2019 በያማሞቶ፣ ሶንግ እና ኪም የቀረበው ትይዩ WaveGAN ይህንን የሚያደርገው በራስ-ሰር ባልሆነ የWaveNet-style ጄኔሬተር እንደ ጀነሬቲቭ ባላንጣ አውታረመረብ በሰለጠነ። አንድ የኦዲዮ ናሙና በአንድ ጊዜ እንደ መጀመሪያው WaveNet ከመተንበይ ይልቅ፣ ሙሉውን ሞገድ በትይዩ ያዘጋጃል፣ ይህም በአስደናቂ ሁኔታ ፈጣን ያደርገዋል። የእሱ ቁልፍ የምግብ አዘገጃጀት የተቃዋሚ ኪሳራን ከብዙ ጥራት የአጭር ጊዜ ፎሪየር ትራንስፎርሜሽን (STFT) ኪሳራ ጋር ያጣምራል። ውጤቱ በጂፒዩ ላይ ከእውነተኛ ጊዜ ብዙ ጊዜ የሚፈጥን ትንሽ ጀነሬተር (ወደ 1.4 ሚሊዮን መለኪያዎች) ነው።

ቴክኒካዊ ግንዛቤ

ጀነሬተሩ በሜል-ስፔክትሮግራም ላይ የተስተካከለ የሰፋ-ኮንቮሉሽን ኔትወርክ እና የድምጽ ግብዓት፣ የካርታ ስራ ጫጫታ እና ባህሪያትን በቀጥታ ለናሙናዎች ነው። ስልጠና በበርካታ የኤፍኤፍቲ መጠኖች እና የሆፕ ርዝማኔዎች ማግኒቲዩድ ስፔክትሮግራሞችን በማነፃፀር የሚሰላውን ባለብዙ ጥራት STFT ኪሳራን እና ከአድሎአዊ እውነታን በመገመት የሚደርስብንን ኪሳራ ይቀንሳል። የ STFT ቃል ያረጋጋል እና የተቃራኒ ስልጠናን ያፋጥናል ፣ ሁለቱንም ጥሩ ዝርዝሮች እና ሰፊ ስፔክተራል ቅርፅን ያለማጣራት ይይዛል።

ስልታዊ ተጽእኖ

መድረስ እና መድረስ

በጽሑፍ፣ በትረካ እና በድምፅ በይነገጾች ተደራሽነትን ያሻሽላል።

ወጪ እና በጀት

የሚዲያ ቡድኖች በትንሽ በጀቶች የተጣራ ድምጽ በፍጥነት መላክ ይችላሉ።

ፍጥነት እና ልኬት

ከደንበኛ ጋር የሚገናኙ ስርዓቶች የንግግር ግንኙነቶችን በትልቁ ደረጃ ማካሄድ ይችላሉ።

ትይዩ WaveGAN Vocoder የወደፊት

ትይዩ WaveGAN GAN vocoders እንደ ተግባራዊ ነባሪ እንዲቋቋም ረድቷል፣ እና ባለብዙ ጥራት STFT ኪሳራው አሁን እንደ HiFi-GAN ባሉ ተተኪዎች እና በብዙ የዥረት ስርዓቶች ላይ ይታያል። አቅጣጫው የሚያመለክተው በመሣሪያ ላይ ለሚገኙ ረዳቶች፣ የመስሚያ መርጃዎች፣ እና የቀጥታ የድምጽ ለውጥ እና ወደማይታዩ ተናጋሪዎች የሚያጠቃልሉ ሁለንተናዊ ቮኮደሮች ወደ ትናንሽ፣ ዝቅተኛ የዝግመተ ጊዜ ቮኮደሮች ነው። ከጫፍ እስከ ጫፍ TTS እና በሞባይል እና በተከተቱ ቺፖች ላይ በብቃት ማሰማራትን የበለጠ ጥብቅ ውህደትን ይጠብቁ።

የእውነተኛ-ዓለም አተገባበር

የቆይታ እና የሞዴል መጠን አስፈላጊ በሚሆንበት የሞባይል ድምጽ ረዳቶች ውስጥ የእውነተኛ ጊዜ የንግግር ውጤት

እንደ Tacotron 2 ወይም FastSpeech ካሉ አኮስቲክ ሞዴሎች ጋር ተጣምሮ እንደ ሞገድ ፎርም ጀነሬተር በማገልገል ላይ

በደመና ላይ መተማመን ለማይችሉ የተደራሽነት መሣሪያዎች በመሣሪያ ላይ የጽሑፍ-ወደ-ንግግር

የተለወጡ ስፔክትሮግራሞችን ወደ ተፈጥሯዊ-ድምፅ ኦዲዮ እንደገና የሚዋሃዱ የድምፅ ልወጣ ሥርዓቶች

አደጋዎች እና የጥበቃ መንገዶች

ስምምነት ሲጠፋ የድምፅ አላግባብ መጠቀም እና የማስመሰል አደጋዎች ይጨምራሉ።

ትክክለኛነት በአነጋገር ዘዬዎች፣ ቀበሌኛዎች ወይም ጫጫታ አካባቢዎች ላይ ሊወድቅ ይችላል።

ሰራሽ ኦዲዮ ግልጽ ምልክት ሳይደረግበት ለትክክለኛ ንግግር ሊሳሳት ይችላል።

የትግበራ ፍኖተ ካርታ

ለድምጽ ቀረጻ፣ ክሎኒንግ እና እንደገና ጥቅም ላይ ለማዋል ግልጽ የሆነ ፈቃድ ያግኙ።

በተለያዩ የድምጽ ማጉያዎች እና የበስተጀርባ ሁኔታዎች ላይ ጥራትን ይሞክሩ።

አንድ ሰው መቼ ውጤቶችን መገምገም ወይም ማጽደቅ እንዳለበት ይግለጹ።

ሰው ሰራሽ ኦዲዮን ይሰይሙ እና ለተጠያቂነት የፕሮቨንስ መዝገቦችን ያስቀምጡ።

ማሰስዎን ይቀጥሉ

ድምጽ AI

የንግግር ስርዓቶች ቋንቋን እንዴት እንደሚያውቁ እና እንደሚያመነጩ ይወቁ።

መመሪያ ያንብቡ

AI ሙዚቃ

ዘመናዊ የሙዚቃ-ትውልድ መሳሪያዎችን እና ገደቦችን ይረዱ።

መመሪያ ያንብቡ

Free newsletter

Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.

One email each weekday. Unsubscribe in one click. We never sell or share your address.

Test yourself

Take the Parallel WaveGAN Vocoder quiz

Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.

ጥያቄ ጀምር

Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation

ቀጣይ መመሪያ

የሜልጋን አመንጪ ቮኮደር

ቀጣዩን መመሪያ ያንብቡ ሁሉንም ጥያቄዎች ያስሱ

በተደጋጋሚ የሚጠየቁ ጥያቄዎች

What is Parallel WaveGAN Vocoder?

ትይዩ ዌቭጋን ፈጣን የነርቭ ድምጽ ማጉያ ሲሆን ትንሽ GANን በመጠቀም ሜል-ስፔክትሮግራምን ወደ ጥሬ የድምጽ ሞገድ የሚቀይር እና ሁሉንም ናሙናዎች በአንድ ጊዜ ያመነጫል። በእውነተኛ ጊዜ የቀረበ፣ ከፍተኛ ጥራት ያለው ንግግር ከታመቀ ሞዴል ጋር ስለሚሰጥ አስፈላጊ ነው።

እንደ Parallel WaveGAN ያለ የቮኮደር ስራ ምንድነው?

ቮኮደር ትክክለኛውን የድምፅ ሞገድ እንደ ሜል-ስፔክትሮግራም ካሉ የአኮስቲክ ባህሪያት የሚያዋህድ የመጨረሻው TTS ደረጃ ነው።

Parallel WaveGAN ከዋናው WaveNet ጋር ሲነጻጸር የድምጽ ናሙናዎችን የሚያመነጨው እንዴት ነው?

ትይዩ WaveGAN በራስ ሰር ያልሆነ ነው፣ በናሙና ናሙና ሳይሆን ሙሉውን ሞገድ በአንድ ጊዜ የሚያመርት ሲሆን ይህም በጣም ፈጣን ያደርገዋል።

ከጠላት ኪሳራ በተጨማሪ የትይዩ WaveGAN የትኛው ኪሳራ ነው?

የተቃራኒ መጥፋትን ከብዙ-ጥራት STFT ኪሳራ ጋር በማጣመር የስፔክትሮግራም መጠኖችን በበርካታ ሚዛኖች ያወዳድራል።

Parallel WaveGAN ጄኔሬተር ምን ዓይነት አርክቴክቸር ይጠቀማል?

ጀነሬተሩ በሜል-ስፔክትሮግራም እና በጩኸት ላይ የተስተካከለ ከሰፊ ኮንቮይቶች የተገነባ የWaveNet መሰል አውታር ነው።

ለምን Parallel WaveGAN ለስምሪት ማራኪ የሆነው?

በግምት 1.4 ሚሊዮን መለኪያዎች ትንሽ ነው እና ከእውነተኛ ጊዜ ብዙ ጊዜ በፍጥነት ይሰራል፣ በመሳሪያ ላይ ለመጠቀም ተስማሚ።