አጠቃላይ እይታ
ጃስፐር እና ኳርትዝኔት የNVDIA ከጫፍ እስከ ጫፍ ኮንቮሉሽን ንግግር ማወቂያ ሞዴሎች ናቸው፣ QuartzNet በአስገራሚ ሁኔታ ትንሽ እና ቀልጣፋ የጃስፐር ዲዛይን ነው። በጣም ጥቂት በሆኑ መለኪያዎች ጠንካራ ትክክለኛነትን እንዴት ማግኘት እንደሚችሉ ለማሳየት አስፈላጊ ናቸው ፣ ለመሰማራት ተስማሚ።
ጃስፐር እና ኳርትዝኔት ASR ንግግርን፣ ሙዚቃን እና ድምጽን ለግንኙነት፣ ተደራሽነት እና የሚዲያ ምርት በሚቀይሩ የድምጽ-AI የስራ ፍሰቶች ውስጥ ተቀምጠዋል።
ጥልቅ ዳይቭ
ጃስፐር (ልክ ሌላ ንግግር ማወቂያ)፣ በ2019 በNVDIA የተለቀቀው ጥልቅ 1D convolutional Network ነው፣ እስከ 54 ንብርብሮች፣ የሜል-ስፔክትሮግራም ባህሪያትን በሲቲሲ መጥፋት ተጠቅመው ገፀ ባህሪን የሚቀርፅ ነው። ጥቅጥቅ ያሉ ቀሪ ግንኙነቶችን አስተዋወቀ ስለዚህ ቅልጥፍኖች በጣም ጥልቅ በሆኑ ቁልል ውስጥ በንጽህና ይፈስሳሉ። ኳርትዝኔት፣ በዚያው አመት የተለቀቀው፣ የጃስፔርን ብሎክ መዋቅር ጠብቋል ነገር ግን መደበኛ ውዝግቦችን በጊዜ ቻናል በሚለያዩ ውዝግቦች ተክቷል፣ እያንዳንዱን ማጣሪያ ወደ ጥልቅ ጊዜያዊ ውዥንብር እና ትክክለኛ የሰርጥ ማደባለቅ እርምጃ። ይህ ማባዛት በLibrispeech ላይ ካለው ትክክለኛነት ጋር በሚመሳሰልበት ጊዜ ከጃስፐር 333 ሚሊዮን ወደ 19 ሚሊዮን አካባቢ መለኪያዎችን ቀንሷል። ሁለቱም በNVadi's NeMo Toolkit ውስጥ ይላካሉ እና ለፈጣን የጂፒዩ ስልጠና እና የእውነተኛ ጊዜ ግንዛቤ የተስተካከሉ ናቸው፣ ይህም ለምርት ASR ታዋቂ የግንባታ ብሎኮች ያደርጋቸዋል።
ቴክኒካዊ ግንዛቤ
የኳርትዝኔት ቅልጥፍና የሚመጣው በጊዜ ቻናል ከሚለያዩ ውዝግቦች፣ ከሞባይል ኔት ጀርባ ያለው ተመሳሳይ ሃሳብ ነው። መደበኛ 1D convolution ጊዜን እና ቻናሎችን በአንድ ላይ ያዋህዳል፣ K ጊዜ C-in times C-out ክብደት ያስከፍላል። በጊዜ ሂደት ወደ ጥልቅ ጠባይ ውዥንብር እና 1x1 ነጥብ አቅጣጫ በሰርጦች ላይ መለያየት ወደ K ጊዜ C እና C-in times C-out መለኪያዎችን ይቀንሳል። በቀሪ ብሎኮች የተቆለለ እና በሲቲሲ የሰለጠነ፣ ይህ በጃስፐር አቅራቢያ ያለውን ትክክለኛነት በአምሳያው መጠን እና ስሌት በትንሹ ይሰጣል።
ጃስፐር እና ኳርትዝኔት ASR ማስተር
ጃስፐር እና ኳርትዝኔት የNVDIA ከጫፍ እስከ ጫፍ ኮንቮሉሽን ንግግር ማወቂያ ሞዴሎች ናቸው፣ QuartzNet በአስገራሚ ሁኔታ ትንሽ እና ቀልጣፋ የጃስፐር ዲዛይን ነው። በጣም ጥቂት በሆኑ መለኪያዎች ጠንካራ ትክክለኛነትን እንዴት ማግኘት እንደሚችሉ ለማሳየት አስፈላጊ ናቸው ፣ ለመሰማራት ተስማሚ። ጃስፐር እና ኳርትዝኔት ASR ንግግርን፣ ሙዚቃን እና ድምጽን ለግንኙነት፣ ተደራሽነት እና የሚዲያ ምርት በሚቀይሩ የድምጽ-AI የስራ ፍሰቶች ውስጥ ተቀምጠዋል። ጥልቅ ግንዛቤን ለመገንባት፣ ጃስፐር እና ኳርትዝኔት ASRን እንደ ኦፕሬሽን ሞዴል አድርገው ይያዙ፣ አንድ ባህሪ ሳይሆን፡ የሚፈለጉትን ውጤቶች ይግለጹ፣ ግምቶችን ያብራሩ፣ እና ስርዓቱ አሁንም የባለሙያዎችን ፍርድ ከሚያስፈልገው ነገር ለይ።
በተግባር፣ ጃስፐር እና ኳርትዝኔት ኤኤስአርን የሚጠቀሙ ጠንካራ ቡድኖች ጥራትን፣ መዘግየት እና ፍቃድን እንደ የማሰማራቱ ስትራቴጂ አስፈላጊ አካል አድርገው ይቆጥሩታል። ግልጽ የስኬት መስፈርቶችን ይመዘግባሉ፣ በተጨባጭ መረጃ እና የስራ ፍሰቶች ላይ ይፈትሻሉ፣ እና የአንድ ጊዜ ቤንችማርክ ከማሸነፍ ይልቅ በተስተዋሉ የውድቀት ቅጦች ላይ ተመስርተው ይደግማሉ። ይህ የንድፈ ሃሳባዊ ግንዛቤ በምርት፣ ፖሊሲ እና ኦፕሬሽኖች ላይ ወደ ዘላቂ አቅም የሚቀየርበት ነው።
በጽሑፍ፣ በትረካ እና በድምፅ በይነገጾች ተደራሽነትን ያሻሽላል። በተመሳሳይ ጊዜ፣ ፍቃድ ሲጎድል የድምጽ አላግባብ መጠቀም እና የማስመሰል አደጋዎች ይጨምራሉ። በጣም ጠንካራው አካሄድ የሙከራ ፍጥነትን ከአስተዳደር ዲሲፕሊን ጋር ማጣመር ነው፡ አብራሪዎችን ማስኬድ፣ ማስረጃን መያዝ፣ የውሳኔ ምዝግብ ማስታወሻዎችን ማተም እና የሞዴል ባህሪ፣ የተጠቃሚ የሚጠበቁ እና የቁጥጥር መስፈርቶች ሲዳብሩ ጥበቃዎችን ያለማቋረጥ ማዘመን ነው።
ስልታዊ ተጽእኖ
በጽሑፍ፣ በትረካ እና በድምፅ በይነገጾች ተደራሽነትን ያሻሽላል።
በጽሑፍ፣ በትረካ እና በድምፅ በይነገጾች ተደራሽነትን ያሻሽላል። ከፍተኛ ጥራት ባለው ማሰማራት ውስጥ፣ ይህ ወደሚለካ የአሠራር ደንቦች፣ የባለቤትነት ወሰኖች እና ተደጋጋሚ የግምገማ ሥነ ሥርዓቶች ይተረጎማል ስለዚህ ቡድኖች አሻሚነትን ከማስፋት ይልቅ በራስ መተማመንን ሊጨምሩ ይችላሉ።
የሚዲያ ቡድኖች በትንሽ በጀቶች የተጣራ ድምጽ በፍጥነት መላክ ይችላሉ።
የሚዲያ ቡድኖች በትንሽ በጀቶች የተጣራ ድምጽ በፍጥነት መላክ ይችላሉ። ከፍተኛ ጥራት ባለው ማሰማራት ውስጥ፣ ይህ ወደሚለካ የአሠራር ደንቦች፣ የባለቤትነት ወሰኖች እና ተደጋጋሚ የግምገማ ሥነ ሥርዓቶች ይተረጎማል ስለዚህ ቡድኖች አሻሚነትን ከማስፋት ይልቅ በራስ መተማመንን ሊጨምሩ ይችላሉ።
ከደንበኛ ጋር የሚገናኙ ስርዓቶች የንግግር ግንኙነቶችን በትልቁ ደረጃ ማካሄድ ይችላሉ።
ከደንበኛ ጋር የሚገናኙ ስርዓቶች የንግግር ግንኙነቶችን በትልቁ ደረጃ ማካሄድ ይችላሉ። ከፍተኛ ጥራት ባለው ማሰማራት ውስጥ፣ ይህ ወደሚለካ የአሠራር ደንቦች፣ የባለቤትነት ወሰኖች እና ተደጋጋሚ የግምገማ ሥነ ሥርዓቶች ይተረጎማል ስለዚህ ቡድኖች አሻሚነትን ከማስፋት ይልቅ በራስ መተማመንን ሊጨምሩ ይችላሉ።
የእውነተኛ-ዓለም አተገባበር
የእውነተኛ ጊዜ ግልባጭ እና የድምጽ ረዳቶች በNeMo Toolkit በኩል በNVDIA ጂፒዩዎች ላይ ተሰማርተዋል።
የኳርትዝኔት ትንሽ አሻራ የማስታወስ ችሎታ ካላቸው መሳሪያዎች ጋር በሚስማማበት ጠርዝ እና የተከተተ ASR
ቀድሞ የሰለጠነ የኳርትዝኔት ፍተሻ ነጥቦችን ለጎራ-ተኮር መዝገበ-ቃላት እንደ የህክምና ወይም የህግ ቃላት
የጥሪ ማእከል ትንታኔዎች ብዙ የድምጽ መጠን በፍጥነት እና ወጪ ቆጣቢ በሆነ መልኩ ወደ ገለባ የሚገለብጥ
የትግበራ ቅጦች
Jasper እና QuartzNet ASR በተግባር
የእውነተኛ ጊዜ ግልባጭ እና የድምጽ ረዳቶች በNeMo Toolkit በኩል በNVDIA ጂፒዩዎች ላይ ተሰማርተዋል።
የእውነተኛ ጊዜ ግልባጭ እና የድምጽ ረዳቶች በNMo Toolkit ቡድኖች በኩል በNVDIA ጂፒዩዎች ላይ የሚሰማሩት ብዙውን ጊዜ የጥራት ደረጃዎችን ፊት ለፊት ሲገልጹ፣ የሰው ልጅን ለዳር ዳር ጉዳዮችን ከፍ ለማድረግ እና ሁለቱንም የምርታማነት ግኝቶችን እና የስህተት ወጪዎችን በጊዜ ሂደት ሲከታተሉ የተሻለ ውጤት ያገኛሉ።
Jasper እና QuartzNet ASR በተግባር
የኳርትዝኔት ትንሽ አሻራ የማስታወስ ችሎታ ካላቸው መሳሪያዎች ጋር በሚስማማበት ጠርዝ እና የተከተተ ASR።
የጠርዝ እና የተከተተ ASR የኳርትዝኔት ትንሽ አሻራ የማስታወስ ችሎታ ካላቸው መሳሪያዎች ጋር የሚገጣጠም ቡድኖች ብዙውን ጊዜ የተሻሉ ውጤቶችን የሚያገኙበት ከፊት ለፊት የጥራት ደረጃዎችን ሲገልጹ፣ ለዳር ጉዳዮች የሰው ልጅ መሻሻል መንገድን ሲይዙ እና ሁለቱንም የምርታማነት ትርፍ እና የስህተት ወጪዎችን በጊዜ ሂደት መከታተል ነው።
Jasper እና QuartzNet ASR በተግባር
ቀድሞ የሰለጠነ QuartzNet የፍተሻ ነጥቦችን ለጎራ-ተኮር መዝገበ-ቃላቶች እንደ የህክምና ወይም የህግ ቃላት።
እንደ ሕክምና ወይም ህጋዊ ቃላት ያሉ ጎራ-ተኮር መዝገበ-ቃላቶችን በጥሩ ሁኔታ ማስተካከል ቀድሞ የሰለጠነ የኳርትዝኔት ፍተሻ ነጥቦች ቡድኖች ብዙውን ጊዜ የጥራት ደረጃዎችን ፊት ለፊት ሲገልጹ የተሻለ ውጤት ያገኛሉ፣ ለዳር ጉዳዮች የሰው ልጅ መሻሻል መንገድን ሲይዙ እና ሁለቱንም የምርታማነት ትርፍ እና የስህተት ወጪዎችን በጊዜ ሂደት ይከታተላሉ።
Jasper እና QuartzNet ASR በተግባር
የጥሪ ማእከል ትንታኔዎች ብዙ የድምጽ መጠን በፍጥነት እና ወጪ ቆጣቢ በሆነ መልኩ ወደ ገለባ የሚገለብጥ።
የጥሪ ማዕከል ትንታኔዎች ብዙ የድምጽ መጠን በፍጥነት እና ወጪ ቆጣቢ በሆነ መልኩ ወደ ገለባ የሚገለብጡ ቡድኖች ብዙውን ጊዜ የጥራት ደረጃዎችን ፊት ለፊት ሲገልጹ የተሻለ ውጤት ያገኛሉ፣ ለዳር ጉዳዮች የሰው ልጅ መሻሻል መንገድን ሲያደርጉ እና ሁለቱንም የምርታማነት ግኝቶችን እና የስህተት ወጪዎችን በጊዜ ሂደት ይከታተላሉ።
አደጋዎች እና የጥበቃ መንገዶች
ስምምነት ሲጠፋ የድምፅ አላግባብ መጠቀም እና የማስመሰል አደጋዎች ይጨምራሉ።
ትክክለኛነት በአነጋገር ዘዬዎች፣ ቀበሌኛዎች ወይም ጫጫታ አካባቢዎች ላይ ሊወድቅ ይችላል።
ሰራሽ ኦዲዮ ግልጽ ምልክት ሳይደረግበት ለትክክለኛ ንግግር ሊሳሳት ይችላል።
የትግበራ ፍኖተ ካርታ
ለድምጽ ቀረጻ፣ ክሎኒንግ እና እንደገና ጥቅም ላይ ለማዋል ግልጽ የሆነ ፈቃድ ያግኙ።
ለድምጽ ቀረጻ፣ ክሎኒንግ እና እንደገና ጥቅም ላይ ለማዋል ግልጽ የሆነ ፈቃድ ያግኙ። እያንዳንዱን እርምጃ እንደማስረጃ በር ያዙት፡ መመዘኛዎቹ ካልተሟሉ፣ መልቀቅን ለአፍታ አቁም፣ ክፍተቱን ይዝጉ እና ከዚያ ብቻ አጠቃቀምን ያስፋፉ።
በተለያዩ የድምጽ ማጉያዎች እና የበስተጀርባ ሁኔታዎች ላይ ጥራትን ይሞክሩ።
በተለያዩ የድምጽ ማጉያዎች እና የበስተጀርባ ሁኔታዎች ላይ ጥራትን ይሞክሩ። እያንዳንዱን እርምጃ እንደማስረጃ በር ያዙት፡ መመዘኛዎቹ ካልተሟሉ፣ መልቀቅን ለአፍታ አቁም፣ ክፍተቱን ይዝጉ እና ከዚያ ብቻ አጠቃቀምን ያስፋፉ።
አንድ ሰው መቼ ውጤቶችን መገምገም ወይም ማጽደቅ እንዳለበት ይግለጹ።
አንድ ሰው መቼ ውጤቶችን መገምገም ወይም ማጽደቅ እንዳለበት ይግለጹ። እያንዳንዱን እርምጃ እንደማስረጃ በር ያዙት፡ መመዘኛዎቹ ካልተሟሉ፣ መልቀቅን ለአፍታ አቁም፣ ክፍተቱን ይዝጉ እና ከዚያ ብቻ አጠቃቀምን ያስፋፉ።
ሰው ሰራሽ ኦዲዮን ይሰይሙ እና ለተጠያቂነት የፕሮቨንስ መዝገቦችን ያስቀምጡ።
ሰው ሰራሽ ኦዲዮን ይሰይሙ እና ለተጠያቂነት የፕሮቨንስ መዝገቦችን ያስቀምጡ። እያንዳንዱን እርምጃ እንደማስረጃ በር ያዙት፡ መመዘኛዎቹ ካልተሟሉ፣ መልቀቅን ለአፍታ አቁም፣ ክፍተቱን ይዝጉ እና ከዚያ ብቻ አጠቃቀምን ያስፋፉ።