የድምጽ AI መመሪያ

WaveGlow ፍሰት ላይ የተመሠረተ ቮኮደር

WaveGlow ከ ሜል-ስፔክትሮግራም የንግግር ሞገዶችን ያለ አውቶሪግሬሽን በአንድ ማለፊያ ውስጥ የሚያጠናቅቅ ፍሰት ላይ የተመሠረተ የነርቭ ድምጽ ማጉያ ነው።

2 ሚን አንብብለመጨረሻ ጊዜ የዘመነው

አጠቃላይ እይታ

ቀላል የመቀነስ እድልን ብቻ በመጠቀም ከፍተኛ ጥራት ያለው ኦዲዮን ከእውነተኛ ጊዜ በበለጠ ፍጥነት ስለሚያቀርብ አስፈላጊ ነው።

ጥልቅ ዳይቭ

በ 2018 በፕሬንገር፣ ቫሌ እና ካታንዛሮ በNVDIA የተለቀቀው WaveGlow፣ ከ Glow እና WaveNet የመጡ ሃሳቦችን በማጣመር ፈጣን እና ለማሰልጠን ቀላል የሆነ ቮኮደር ለመስራት። እንደ GAN ቮኮደሮች ሳይሆን መደበኛ ፍሰት ነው፡ በሜል-ስፔክትሮግራም ላይ በተስተካከለ የጋውሲያን ስርጭት እና በድምጽ ሞገድ ቅርፅ መካከል የማይገለበጥ ካርታ ይማራል። ስልጠና የመረጃውን ትክክለኛ የምዝግብ ማስታወሻ እድሎች ያሳድጋል፣ ስለዚህ የተለየ አድሎአዊ፣ ራስ-መመለስ እና የሁለት-ኔትወርክ አስተማሪ-ተማሪ ማጣራት የሚያስፈልገው ቀደም ሲል ትይዩ የ WaveNet አቀራረቦችን ይፈልጋል። ኦዲዮ ለማመንጨት የ Gaussian ጫጫታ ናሙና ወስደዋል እና የማይገለባበጥ ኔትወርክን በግልባጭ አሂድ። WaveGlow በዘመናዊው ጂፒዩ ላይ ከእውነተኛ ጊዜ በጣም በፍጥነት በማቀናጀት ከ WaveNet ጋር የሚወዳደር የጥራት ንግግር ያዘጋጃል።

ቴክኒካዊ ግንዛቤ

WaveGlow የማይገለባበጥ ፍሰት ደረጃዎችን ይቆልላል፣ እያንዳንዱ የአፊን መጋጠሚያ ንብርብር ከግሎው ከተበደረ የማይገለበጥ 1x1 convolution ጋር ያዋህዳል። የማጣመጃ ንብርብሮች በብቃት እንዲለወጡ የድምጽ ናሙናዎች በመጭመቅ ኦፕሬሽን በኩል ወደ ቬክተር ይመደባሉ። እያንዳንዱ እርምጃ የማይገለባበጥ ስለሆነ፣የቀጣዩ አቅጣጫ የስልጠና እድልን እና የተገላቢጦሽ ካርታዎች ድምጽ ወደ ኦዲዮ ለመጠቆም ያሰላል። አንድ ነጠላ አውታረ መረብ እና አንድ አሉታዊ የምዝግብ ማስታወሻ-ዕድል ዓላማ ስልጠናን በተለይም የተረጋጋ እና ቀላል ያደርገዋል።

ስልታዊ ተጽእኖ

መድረስ እና መድረስ

በጽሑፍ፣ በትረካ እና በድምፅ በይነገጾች ተደራሽነትን ያሻሽላል።

ወጪ እና በጀት

የሚዲያ ቡድኖች በትንሽ በጀቶች የተጣራ ድምጽ በፍጥነት መላክ ይችላሉ።

ፍጥነት እና ልኬት

ከደንበኛ ጋር የሚገናኙ ስርዓቶች የንግግር ግንኙነቶችን በትልቁ ደረጃ ማካሄድ ይችላሉ።

የWaveGlow ፍሰት-ተኮር ቮኮደር የወደፊት ዕጣ

WaveGlow የንፁህ ፍሰት ቮኮደሮች አውቶማቲክ ጥራትን ሊወዳደሩ እንደሚችሉ አሳይቷል፣ በኋለኛው ፍሰት እና ፍሰት ተዛማጅ የኦዲዮ ሞዴሎች ላይ ተጽዕኖ። ነጠላ-ኪሳራ ቀላልነቱ አሁንም ማራኪ ነው፣ ምንም እንኳን እንደ HiFi-GAN ያሉ የ GAN ቮኮደሮች አሁን በመጠን እና በፍጥነት ያሸንፋሉ። ወደ ፊት ስንመለከት፣ ፍሰት-ተኮር እና ፍሰት-ተዛማጅ ሐሳቦች በዘመናዊ ስርጭት-አጎራባች TTS ውስጥ እንደገና እያደጉ ናቸው፣ እና WaveGlow-style የማይገለበጥ ዲዛይኖች ትክክለኛ የመሆን እድል፣ ቁጥጥር እና ቀልጣፋ የሞገድ ቅርጽ ማመንጨት ላይ ምርምርን ማሳወቁን ቀጥለዋል።

የእውነተኛ-ዓለም አተገባበር

ተፈጥሯዊ የስቱዲዮ ጥራት ያለው ንግግር ለማዘጋጀት በNVDIA ማጣቀሻ TTS ቧንቧ ውስጥ ከ Tacotron 2 ጋር በማጣመር

ፈጣን የጂፒዩ ንግግር ውህደት ለትረካ፣ ለደብዳቤ እና ለይዘት ፈጠራ የስራ ፍሰቶች

የተረጋጋ ነጠላ-ኪሳራ ስልጠና በሚመረጥበት ምርምር ላይ ስልጠና እና የድምጽ ማሳያ ማመንጨት

በNVDIA ሃርድዌር ላይ በሚሰሩ በይነተገናኝ ስርዓቶች ውስጥ ቅጽበታዊ አቅም ያለው የድምጽ ውፅዓት

አደጋዎች እና የጥበቃ መንገዶች

ስምምነት ሲጠፋ የድምፅ አላግባብ መጠቀም እና የማስመሰል አደጋዎች ይጨምራሉ።

ትክክለኛነት በአነጋገር ዘዬዎች፣ ቀበሌኛዎች ወይም ጫጫታ አካባቢዎች ላይ ሊወድቅ ይችላል።

ሰራሽ ኦዲዮ ግልጽ ምልክት ሳይደረግበት ለትክክለኛ ንግግር ሊሳሳት ይችላል።

የትግበራ ፍኖተ ካርታ

1

ለድምጽ ቀረጻ፣ ክሎኒንግ እና እንደገና ጥቅም ላይ ለማዋል ግልጽ የሆነ ፈቃድ ያግኙ።

2

በተለያዩ የድምጽ ማጉያዎች እና የበስተጀርባ ሁኔታዎች ላይ ጥራትን ይሞክሩ።

3

አንድ ሰው መቼ ውጤቶችን መገምገም ወይም ማጽደቅ እንዳለበት ይግለጹ።

4

ሰው ሰራሽ ኦዲዮን ይሰይሙ እና ለተጠያቂነት የፕሮቨንስ መዝገቦችን ያስቀምጡ።

ማሰስዎን ይቀጥሉ

ድምጽ AI

የንግግር ስርዓቶች ቋንቋን እንዴት እንደሚያውቁ እና እንደሚያመነጩ ይወቁ።

መመሪያ ያንብቡ

AI ሙዚቃ

ዘመናዊ የሙዚቃ-ትውልድ መሳሪያዎችን እና ገደቦችን ይረዱ።

መመሪያ ያንብቡ

Free newsletter

Get the daily AI briefing

Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.

One email each weekday. Unsubscribe in one click. We never sell or share your address.

Test yourself

Take the WaveGlow Flow-Based Vocoder quiz

Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.

ጥያቄ ጀምር

Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation

ቀጣይ መመሪያ

የድምጽ ሳጥን ፍሰት-ተዛማጅ የንግግር ትውልድ

ቀጣዩን መመሪያ ያንብቡ ሁሉንም ጥያቄዎች ያስሱ

በተደጋጋሚ የሚጠየቁ ጥያቄዎች

WaveGlow ፍሰት ላይ የተመሰረተ ቮኮደር ምንድን ነው?

WaveGlow ከ ሜል-ስፔክትሮግራም የንግግር ሞገዶችን ያለ አውቶሪግሬሽን በአንድ ማለፊያ ውስጥ የሚያጠናቅቅ ፍሰት ላይ የተመሠረተ የነርቭ ድምጽ ማጉያ ነው። ቀላል የመሆን እድልን ብቻ በመጠቀም ከፍተኛ ጥራት ያለው ኦዲዮን ከእውነተኛ ጊዜ በበለጠ ፍጥነት ስለሚያቀርብ አስፈላጊ ነው።

WaveGlow ከየትኞቹ ሁለት ሞዴሎች የስነ-ህንፃ ሀሳቦችን ያጣምራል?

WaveGlow የ Glowን የማይገለበጥ ፍሰት መዋቅር ከ WaveNet የድምጽ ሞዴሊንግ ዲዛይን ጋር ያዋህዳል።

WaveGlow ምን ዓይነት ሞዴል ነው?

WaveGlow በ Gaussian ጫጫታ እና ኦዲዮ መካከል ያለውን የማይገለበጥ ካርታ የሚማር መደበኛ ፍሰት ነው።

በፍላጎት ጊዜ WaveGlow እንዴት የሞገድ ቅርጽ ይፈጥራል?

አውታረ መረቡ የማይገለበጥ ስለሆነ የጋውሲያን ድምጽ ይሳሉ እና ፍሰቱን ወደ ኋላ ያካሂዳሉ ፣ በሜል-ስፔክትሮግራም ላይ።

በስልጠና ወቅት WaveGlow ምን ዓላማን ያመቻቻል?

እንደ ፍሰት፣ WaveGlow ምንም አድሎአዊ ወይም ዲስትሪንግ አያስፈልገውም ትክክለኛውን የምዝግብ ማስታወሻ እድሎችን ያሳድጋል።

በ WaveGlow ውስጥ እያንዳንዱን የማይገለበጥ ደረጃ የሚያካትተው የትኞቹ ሁለት አካላት ናቸው?

እያንዳንዱ የፍሰት እርምጃ የአፊን መጋጠሚያ ንብርብር ከግሎው ከተወሰደ የማይገለበጥ 1x1 ኮንቮሉሽን ጋር ያጣምራል።

ተዛማጅ መመሪያዎች