የድምጽ AI መመሪያ

በRNnoise ንግግር አለመካድ

RNnoise በእውነተኛ ጊዜ ከንግግር በስተጀርባ ያለውን ጫጫታ የሚያራግፍ ትንሽ፣ ፈጣን የነርቭ አውታረ መረብ ነው።

2 ሚን አንብብለመጨረሻ ጊዜ የዘመነው

አጠቃላይ እይታ

Created by Xiph.Org's Jean-Marc Valin, it pairs classic signal processing with a small recurrent network so it runs on ordinary CPUs and even embedded devices.

ጥልቅ ዳይቭ

በ2017 የተለቀቀው RNnoise በድምፅ ጥሪዎች ውስጥ ዝቅተኛ የድብቅ ድምጽን ለማፈን የተነደፈ ነው። ሁሉንም ነገር ከጫፍ እስከ ጫፍ ከመማር ይልቅ ንግግሩን ወደ 22 የሚጠጉ ፍሪኩዌንሲ ባንዶች በሰው ጆሮ ሞዴል (እንደ ቅርፊት የሚመስል ሚዛን) ይከፍላል እና ለእያንዳንዱ ባንድ በፍሬም የሚሰጠውን ትርፍ (0 ለ 1) ለመገመት ከGated Recurrent Units ጋር ተደጋጋሚ የነርቭ አውታረ መረብ ይጠቀማል። በንግግር የተያዙ ባንዶችን ሳይበላሹ ሲቆዩ እነዚያ እድገቶች ጫጫታ ባንዶችን ያዳክማሉ። ተጨማሪ የፒች ማጣሪያ በድምፅ ንግግር መካከል በሚስማማ ድምጽ መካከል ያለውን ቀሪ ድምጽ ያጸዳል። አጠቃላይ ሞዴሉ በግምት 85,000 ክብደቶች አሉት፣ በአንድ ሲፒዩ ኮር ላይ ከእውነተኛ ጊዜ በበለጠ ፍጥነት ይሰራል እና በ BSD ፍቃድ ስር ክፍት ምንጭ ነው፣ ለዚህም ነው እንደ Opus codec ecosystem፣ Mumble እና OBS ​​ስቱዲዮ ባሉ ፕሮጀክቶች ውስጥ የተዋሃደው።

ቴክኒካዊ ግንዛቤ

ዋናው የንድፍ ምርጫ ከጥሬ ስፔክትራል ማጠራቀሚያዎች ይልቅ በማስተዋል ባንድ ትርፍ ላይ እየሰራ ነው። በአንድ ፍሬም ~22 የማግኘት እሴቶችን ብቻ በመተንበይ የGRU አውታረመረብ ጥቃቅን ሆኖ ይቆያል እና በጥንታዊ የእይታ-መቀነስ ዘዴዎች ውስጥ የተለመዱ የሙዚቃ-ጫጫታ ቅርሶችን ያስወግዳል። በእጅ የተሰሩ ባህሪያት (የባንድ ሃይሎች, የፒች ጊዜ, የፒች ኮርሬሽን) ኔትወርክን ይመገባሉ, የDSP እውቀትን ከመማር ጋር ያዋህዳሉ. የተለየ የድምጽ-እንቅስቃሴ ውፅዓት በንፁህ-ጫጫታ ፍሬሞች ወቅት የበሩን ጥቅም ይረዳል።

ስልታዊ ተጽእኖ

መድረስ እና መድረስ

በጽሑፍ፣ በትረካ እና በድምፅ በይነገጾች ተደራሽነትን ያሻሽላል።

ወጪ እና በጀት

የሚዲያ ቡድኖች በትንሽ በጀቶች የተጣራ ድምጽ በፍጥነት መላክ ይችላሉ።

ፍጥነት እና ልኬት

ከደንበኛ ጋር የሚገናኙ ስርዓቶች የንግግር ግንኙነቶችን በትልቁ ደረጃ ማካሄድ ይችላሉ።

የንግግር የወደፊት ተስፋ ከ RNnoise ጋር

RNnoise ቀላል ክብደት ያለው ቅጽበታዊ የማሻሻያ ሥራን አነሳስቷል; የእሱ ተተኪ ምርምር (PercepNet, DeepFilterNet) የሲፒዩ በጀቶችን አነስተኛ በማድረግ ጥራቱን ከፍ ያደርገዋል. ውድቅ ሰጪዎች በቀጥታ ወደ የጆሮ ማዳመጫዎች፣ የመስሚያ መርጃዎች እና የኮንፈረንስ ቺፖች ውስጥ እንዲከተቱ፣ ከ echo ስረዛ እና መጥፋት ጋር እንዲዋሃዱ እና የማስተዋል እና አልፎ ተርፎም የመፍጠር አላማዎችን እንዲጠቀሙ ይጠብቁ። ድቅል DSP-ፕላስ-ትንሽ-ኔትዎርክ የምግብ አዘገጃጀት ከጥሬ የሞዴል መጠን በላይ ዝቅተኛ መዘግየት፣ ዝቅተኛ ኃይል እና ክፍት ምንጭ ፈቃድ በሚሰጥበት ቦታ ሁሉ ተጽዕኖ ይኖረዋል።

የእውነተኛ-ዓለም አተገባበር

RNnoiseን በሚያሽጉ መተግበሪያዎች ውስጥ በቪዲዮ ጥሪዎች ጊዜ የቁልፍ ሰሌዳ መጨናነቅን እና የደጋፊን ድምጽ ማፈን።

አብሮ በተሰራው RNnoise ጫጫታ መከላከያ ማጣሪያ በኩል የዥረት ሰሪው ማይክሮፎን በኦቢኤስ ስቱዲዮ ውስጥ በማጽዳት ላይ።

በጨዋታዎች ውስጥ የድምጽ ውይይትን ብልህነት ማሻሻል እና እንደ Mumble በዝቅተኛ ሃይል ሃርድዌር ላይ።

የታችኛው የንግግር ማወቂያ የበለጠ ንጹህ ምልክት እንዲያገኝ ጫጫታ የመስክ ቅጂዎችን በማስቀደም ላይ።

አደጋዎች እና የጥበቃ መንገዶች

ስምምነት ሲጠፋ የድምፅ አላግባብ መጠቀም እና የማስመሰል አደጋዎች ይጨምራሉ።

ትክክለኛነት በአነጋገር ዘዬዎች፣ ቀበሌኛዎች ወይም ጫጫታ አካባቢዎች ላይ ሊወድቅ ይችላል።

ሰራሽ ኦዲዮ ግልጽ ምልክት ሳይደረግበት ለትክክለኛ ንግግር ሊሳሳት ይችላል።

የትግበራ ፍኖተ ካርታ

1

ለድምጽ ቀረጻ፣ ክሎኒንግ እና እንደገና ጥቅም ላይ ለማዋል ግልጽ የሆነ ፈቃድ ያግኙ።

2

በተለያዩ የድምጽ ማጉያዎች እና የበስተጀርባ ሁኔታዎች ላይ ጥራትን ይሞክሩ።

3

አንድ ሰው መቼ ውጤቶችን መገምገም ወይም ማጽደቅ እንዳለበት ይግለጹ።

4

ሰው ሰራሽ ኦዲዮን ይሰይሙ እና ለተጠያቂነት የፕሮቨንስ መዝገቦችን ያስቀምጡ።

ማሰስዎን ይቀጥሉ

ድምጽ AI

የንግግር ስርዓቶች ቋንቋን እንዴት እንደሚያውቁ እና እንደሚያመነጩ ይወቁ።

መመሪያ ያንብቡ

AI ሙዚቃ

ዘመናዊ የሙዚቃ-ትውልድ መሳሪያዎችን እና ገደቦችን ይረዱ።

መመሪያ ያንብቡ

Free newsletter

Get the daily AI briefing

Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.

One email each weekday. Unsubscribe in one click. We never sell or share your address.

Test yourself

Take the Speech Denoising with RNNoise quiz

Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.

ጥያቄ ጀምር

Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation

ቀጣይ መመሪያ

የንግግር መለያየት እና የኮክቴል ፓርቲ ችግር

ቀጣዩን መመሪያ ያንብቡ ሁሉንም ጥያቄዎች ያስሱ

በተደጋጋሚ የሚጠየቁ ጥያቄዎች

What is Speech Denoising with RNNoise?

RNnoise በእውነተኛ ጊዜ ከንግግር በስተጀርባ ያለውን ጫጫታ የሚያራግፍ ትንሽ፣ ፈጣን የነርቭ አውታረ መረብ ነው። በXiph.Org's Jean-Marc Valin የተፈጠረ፣ ክላሲክ ሲግናል ፕሮሰሲን ከትንሽ ተደጋጋሚ አውታረ መረብ ጋር በማጣመር በተራ ሲፒዩዎች እና በተገጠሙ መሳሪያዎችም ጭምር።

RNnoise በዋነኛነት ለእያንዳንዱ አጭር የድምጽ ፍሬም ምን ይተነብያል?

RNnoise በንግግር የሚበዙትን እያንዳንዷን ስፔክተራል ቢን ላይ ከመስራት ይልቅ በድምፅ የሚተዳደረውን ባንዶች የሚቀንሱትን የአንድ ባንድ ትርፍ ይገምታል።

በ RNnoise እምብርት ላይ ምን ዓይነት የነርቭ አውታር ነው?

RNnoise ትንሽ በሚቆይበት ጊዜ ጊዜያዊ ማህደረ ትውስታን በመስጠት በGated Recurrent Units የተሰራ የታመቀ ተደጋጋሚ የነርቭ አውታረ መረብ ይጠቀማል።

ለምንድነው RNnoise ከጥሬ ስፔክትራል ማጠራቀሚያዎች ይልቅ የማስተዋል ድግግሞሽ ባንዶችን ይጠቀማል?

~ 22 ባንድ ግኝቶችን ብቻ መተንበይ ኔትወርኩን ትንሽ፣ ፈጣን እና በፔር-ቢን ዘዴዎችን ለሚጎዱ የሙዚቃ ጫጫታ ቅርሶች ተጋላጭ ያደርገዋል።

የ RNnoise ሞዴል ምን ያህል ትልቅ ነው?

RNnoise በ 85,000 ክብደቶች ቅደም ተከተል አለው, በትንሽ መጠን ከእውነተኛ ጊዜ በአንድ ሲፒዩ ኮር.

በ RNnoise ውስጥ የፒች ማጣሪያ ሚና ምንድነው?

ማበጠሪያ/ፒች ማጣሪያ በድምፅ የተነገረውን ንግግር እርስ በርሱ የሚስማማውን መዋቅር ይጠቀማል፣በሃርሞኒክስ መካከል ተቀምጦ የሚሰማውን ድምጽ ለመግታት፣የባንድ ትርፍን ይጨምራል።

ተዛማጅ መመሪያዎች