የድምጽ AI መመሪያ

HiFi-GAN እና GAN ቮኮደሮች

HiFi-GAN ሜል-ስፔክትሮግራምን ወደ ጥሬ የድምጽ ሞገድ በቅጽበት የሚቀይር፣ ስቱዲዮ-ጥራት ያለው ንግግር ከእውነተኛ ጊዜ በበለጠ ፍጥነት የሚያዘጋጅ የትውልድ-ተቃዋሚ ድምጽ ነው።

2 ሚን አንብብለመጨረሻ ጊዜ የዘመነው

አጠቃላይ እይታ

It became the standard final stage of modern text-to-speech because it is fast, lightweight, and hard to distinguish from real recordings.

ጥልቅ ዳይቭ

ቮኮደር በአብዛኛዎቹ የቲቲኤስ ቧንቧዎች የመጨረሻ ደረጃ ነው፡ እንደ Tacotron ወይም FastSpeech ያለ ሞዴል ​​mel-spectrogram (በጊዜ ሂደት ውስጥ የሚታየው የድግግሞሽ ምስል) ይተነብያል፣ እና ቮኮደር ትክክለኛውን የሞገድ ቅርጽ ናሙናዎችን ይሞላል። እንደ WaveNet ያሉ ቀደምት የነርቭ ቮኮደሮች በጣም ጥሩ ቢመስሉም የድምጽ ናሙና በናሙና ፈጠሩ፣ ይህም በሚያምም ሁኔታ ቀርፋፋ ያደርጋቸዋል። በ2020 በኮንግ፣ ኪም እና ቤ የተለቀቀው HiFi-GAN ያንን አውቶማቲክ ሉፕ በአንድ መጋቢ አስተላላፊ በተቃዋሚነት በሰለጠነ ጀነሬተር ተክቷል። የእሱ ቁልፍ ብልሃት ኦዲዮውን በተለያየ ሚዛን እና በተለያዩ ወቅቶች የሚዳኙ ብዙ አድሎአዊዎችን በመጠቀም ጄነሬተሩን ሁለቱንም ጥሩ ሸካራነት እና የፒች ፔሪዲቲሲቲን በትክክል እንዲያገኝ ማስገደድ ነው። ውጤቱም 22 kHz ንግግር በጂፒዩ ላይ ከእውነተኛ ጊዜ በመቶዎች የሚቆጠሩ ፈጣን ሲሆን ጥራት ባለው የመሬት-እውነት ድምጽ ነው።

ቴክኒካዊ ግንዛቤ

የHiFi-GAN ጀነሬተር ሜል-ስፔክትሮግራምን በተሸጋገሩ ውዝግቦች ይጨምረዋል፣የተደራረቡ ባለብዙ ተቀባይ ፊልድ ብሎኮች የተለያዩ የከርነል መጠኖችን እና የተለያዩ የሞገድ ቅጦችን የሚይዙ ዲያሜትሮችን ይቀላቅላሉ። ሁለት አድሎአዊ ቤተሰቦች የፖሊስ ስራ ይሰራሉ፡ ባለ ብዙ ጊዜ አድሎአዊ የ1D ምልክትን ወደ 2D ፍርግርግ በ2፣ 3፣ 5፣ 7፣ 11 በፕሪም 2፣ 3፣ 5፣ 7፣ 11 ይቀይሳል፣ እና ባለብዙ ልኬት አድሎአዊ ሞገድ ቅርፁን በበርካታ ዝቅተኛ ናሙናዎች ይፈትሻል። የሜል-ስፔክትሮግራም እና የባህሪ-ተዛማጅ ኪሳራዎች ስልጠናውን የተረጋጋ ያደርገዋል።

ስልታዊ ተጽእኖ

መድረስ እና መድረስ

በጽሑፍ፣ በትረካ እና በድምፅ በይነገጾች ተደራሽነትን ያሻሽላል።

ወጪ እና በጀት

የሚዲያ ቡድኖች በትንሽ በጀቶች የተጣራ ድምጽ በፍጥነት መላክ ይችላሉ።

ፍጥነት እና ልኬት

ከደንበኛ ጋር የሚገናኙ ስርዓቶች የንግግር ግንኙነቶችን በትልቁ ደረጃ ማካሄድ ይችላሉ።

የ HiFi-GAN እና GAN Vocoders የወደፊት

የGAN ቮኮደሮች እያነሱ እና በፍጥነት እየጨመሩ ይሄዳሉ፡ እንደ BigVGAN ያሉ ዘሮች በማይታዩ ዘፋኞች፣ መሳሪያዎች እና ቋንቋዎች ላይ ለማጠቃለል ጸረ-አልያይዝድ እንቅስቃሴዎችን ይጨምራሉ፣ UnivNet እና Vocos ግን ወደ ሁለንተናዊ እና ሁለንተናዊ ውህደት ይገፋሉ። የዥረት እና የመሳሪያ ላይ ልዩነቶች አሁን ዝቅተኛ መዘግየት ላላቸው ረዳቶች በስልኮች እና የጆሮ ማዳመጫዎች ውስጥ ድምጽ መስጠትን ያካሂዳሉ። ከጊዜ ወደ ጊዜ እየጨመረ የመጣው ስርጭት እና ፍሰት-ተዛማጅ የኦዲዮ ሞዴሎች ወደ GAN-style ነጠላ ማለፊያ ጀነሬተሮች እየተከፋፈሉ ሲሆን ይህም የስርጭቱን ታማኝነት ከGAN ፍጥነት ጋር በማዋሃድ ነው። ቮኮደሮች ንግግርንም ሆነ ሙዚቃን ወደሚያንቀሳቅሱ አጠቃላይ ዓላማ ነርቭ ኦዲዮ ኮዴኮች እንዲጠፉ ጠብቅ።

የእውነተኛ-ዓለም አተገባበር

የሚሰማ መዘግየት ሳይኖር ምላሾች የሚያስፈልጋቸው የምናባዊ ረዳቶች እና የአሰሳ መተግበሪያዎች የሚነገር ውፅዓት በማመንጨት ላይ።

ክሎኒድ ሜል-ስፔክትሮግራም ወደ ተፈጥሯዊ ድምጽ በሚሰጥበት ጊዜ የእውነተኛ ጊዜ የድምጽ ክሎኒንግ እና የመገልገያ መሳሪያዎችን ማብቃት።

የሰአታት ንግግርን በፍጥነት እና በርካሽ የሚያዋህዱ የኦዲዮ መጽሐፍ እና ፖድካስት ትረካ መድረኮችን ማሽከርከር።

በBigVGAN አይነት ሁለንተናዊ vocoders በኩል በዘፈን-ድምጽ አቀናባሪዎች እና የሙዚቃ ማሳያዎች ውስጥ እንደ ሞገድ ቅርጽ መድረክ ሆኖ ማገልገል።

አደጋዎች እና የጥበቃ መንገዶች

ስምምነት ሲጠፋ የድምፅ አላግባብ መጠቀም እና የማስመሰል አደጋዎች ይጨምራሉ።

ትክክለኛነት በአነጋገር ዘዬዎች፣ ቀበሌኛዎች ወይም ጫጫታ አካባቢዎች ላይ ሊወድቅ ይችላል።

ሰራሽ ኦዲዮ ግልጽ ምልክት ሳይደረግበት ለትክክለኛ ንግግር ሊሳሳት ይችላል።

የትግበራ ፍኖተ ካርታ

1

ለድምጽ ቀረጻ፣ ክሎኒንግ እና እንደገና ጥቅም ላይ ለማዋል ግልጽ የሆነ ፈቃድ ያግኙ።

2

በተለያዩ የድምጽ ማጉያዎች እና የበስተጀርባ ሁኔታዎች ላይ ጥራትን ይሞክሩ።

3

አንድ ሰው መቼ ውጤቶችን መገምገም ወይም ማጽደቅ እንዳለበት ይግለጹ።

4

ሰው ሰራሽ ኦዲዮን ይሰይሙ እና ለተጠያቂነት የፕሮቨንስ መዝገቦችን ያስቀምጡ።

ማሰስዎን ይቀጥሉ

ድምጽ AI

የንግግር ስርዓቶች ቋንቋን እንዴት እንደሚያውቁ እና እንደሚያመነጩ ይወቁ።

መመሪያ ያንብቡ

AI ሙዚቃ

ዘመናዊ የሙዚቃ-ትውልድ መሳሪያዎችን እና ገደቦችን ይረዱ።

መመሪያ ያንብቡ

Free newsletter

Get the daily AI briefing

Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.

One email each weekday. Unsubscribe in one click. We never sell or share your address.

Test yourself

Take the HiFi-GAN and GAN Vocoders quiz

Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.

ጥያቄ ጀምር

Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation

ቀጣይ መመሪያ

ትይዩ WaveGAN Vocoder

ቀጣዩን መመሪያ ያንብቡ ሁሉንም ጥያቄዎች ያስሱ

በተደጋጋሚ የሚጠየቁ ጥያቄዎች

What is HiFi-GAN and GAN Vocoders?

HiFi-GAN ሜል-ስፔክትሮግራምን ወደ ጥሬ የድምጽ ሞገድ በቅጽበት የሚቀይር፣ ስቱዲዮ-ጥራት ያለው ንግግር ከእውነተኛ ጊዜ በበለጠ ፍጥነት የሚያዘጋጅ የትውልድ-ተቃዋሚ ድምጽ ነው። ፈጣን፣ ቀላል ክብደት ያለው እና ከእውነተኛ ቅጂዎች ለመለየት አስቸጋሪ ስለሆነ የዘመናዊ ጽሑፍ-ወደ-ንግግር መደበኛ የመጨረሻ ደረጃ ሆነ።

በጽሑፍ-ወደ-ንግግር ቧንቧ ውስጥ እንደ HiFi-GAN ያለ የቮኮደር ዋና ሥራ ምንድነው?

ቮኮደር በአኮስቲክ ሞዴል ከተሰራው የሜል-ስፔክትሮግራም ትክክለኛ የሞገድ ቅርጽ ናሙናዎችን የሚያዘጋጅ የመጨረሻው ደረጃ ነው።

ለምን HiFi-GAN ከቀዳሚው WaveNet vocoder በጣም ፈጣን የሆነው?

WaveNet የኦዲዮ ናሙና-በ-ናሙና (በራስ-ሰርነት) ፈጠረ፣ የ HiFi-GAN መጋቢ-ማስተላለፍ ጀነሬተር ሞገድ ፎርሙን በአንድ ምት ያወጣል፣ ይህም ከእውነተኛ-ጊዜ ፍጥነት በጣም ፈጣን ነው።

የ HiFi-GAN ባለብዙ-ጊዜ አድሎአዊ በተለይ ለመያዝ የሚረዳው ምንድን ነው?

የብዝሃ-ጊዜ አድሎአዊ የ1ዲ ሞገድ ቅርፁን ወደ 2D ይቀይረዋል ዋና ቁጥሮችን በመጠቀም ከድምፅ ጋር የተያያዘውን ወቅታዊ መዋቅር ለማወቅ።

GAN ቮኮደሮች 'በተቃዋሚነት' የሰለጠኑ ናቸው። እዚህ ምን ማለት ነው?

በGAN ማዋቀር ውስጥ፣ ጄነሬተር ከተሰራው ኦዲዮ እውነትን ለመለየት የሰለጠኑ አድሎአዊ አውታረ መረቦችን ለማሞኘት በቂ ሞገዶችን ለመስራት ይማራል።

ከኋላ የትኛው ቮኮደር HiFi-GANን ለማይታዩ ድምጾች፣ መዘመር እና መሳሪያዎች አጠቃላይ ለማድረግ የሚያራዝመው የትኛው ነው?

BigVGAN HiFi-GANን ከፍ ያደርጋል እና ጸረ-አልያይዝድ ወቅታዊ እንቅስቃሴዎችን ያክላል፣ ከስርጭት ውጪ ኦዲዮን እንደ ዘፈን እና መሳሪያዎች ያሉ አጠቃላይ ነገሮችን ያሻሽላል።

ተዛማጅ መመሪያዎች