የድምጽ AI መመሪያ

NVIDIA Riva እና NeMo ንግግር

NVIDIA Riva በጂፒዩ የተጣደፈ ኤስዲኬ ለምርት ንግግር AI (ASR፣ TTS፣ እና ለትርጉም) ሲሆን NeMo ደግሞ የስር ሞዴሎችን ለማሰልጠን እና ለማስተካከል ክፍት ምንጭ መሳሪያ ነው።

2 ሚን አንብብለመጨረሻ ጊዜ የዘመነው

አጠቃላይ እይታ

Together they let developers build fast, customizable voice applications that run on NVIDIA hardware.

ጥልቅ ዳይቭ

NeMo (የነርቭ ሞጁሎች) የውይይት AIን ለመገንባት የNVDIA ክፍት ምንጭ የፒቶርች ማዕቀፍ ነው። ለራስ-ሰር የንግግር ማወቂያ (ASR)፣ ከጽሑፍ ወደ ንግግር (TTS) እና ለተፈጥሮ ቋንቋ ስራዎች፣ እንደገና ጥቅም ላይ ሊውሉ በሚችሉ 'የነርቭ ሞጁሎች' የተደራጁ ቀድሞ የሰለጠኑ ሞዴሎችን በራስዎ ዳታ ማስተካከል ይችላሉ። ሪቫ ​​የማሰማራቱ ጎን ነው፡ በመለኪያ ዝቅተኛ መዘግየት ለመምታት TensorRT እና ትሪቶን ኢንፈረንስ አገልጋይ በመጠቀም የተመቻቹ ሞዴሎችን ከጂአርፒሲ አገልጋይ ጀርባ ያጠቃልላል። የተለመደው የስራ ፍሰት አንድን ሞዴል በNeMo ያሰለጥናል ወይም ያስተካክላል፣ ወደ ሪቫ ቅርጸት ይልካታል፣ ከዚያም ለእውነተኛ ጊዜ ቅጂ ወይም ውህደት ያገለግላል። ሪቫ ​​በቃላት ደረጃ የጊዜ ማህተም፣ በነርቭ ቲቲኤስ ድምፅ፣ በድምጽ ማጉያ እና በብዙ ቋንቋዎች የዥረት ማወቂያን ይደግፋል፣ ሁሉም በNVDIA ጂፒዩዎች ላይ በብቃት እንዲሰሩ ተስተካክለዋል።

ቴክኒካዊ ግንዛቤ

የሪቫ ፍጥነት የሚመጣው ከ TensorRT ጋር ሞዴሎችን በማሰባሰብ እና በትሪቶን በኩል በማገልገል ነው፣ እሱም ከርነሎችን በማዋሃድ፣የተደባለቀ ትክክለኛነትን (FP16/INT8) ተግባራዊ ያደርጋል፣ እና በተመሳሳይ ጊዜ የሚቀርቡ ጥያቄዎችን በተለዋዋጭነት ያዘጋጃል። የASR ሞዴሎች እንደ Conformer-CTC ወይም Parakeet ኦዲዮን በትናንሽ ቁርጥራጮች አውድ እየጠበቁ፣ በአስር ሚሊሰከንዶች ውስጥ ከፊል ግልባጮችን እያዘጋጁ። በአንድ ጂፒዩ ላይ ከእውነተኛ ጊዜ በበለጠ ፍጥነት የሞገድ ቅርጾችን ለማመንጨት የቲቲኤስ ቧንቧ መስመሮች የአኮስቲክ ሞዴል (ለምሳሌ፣ FastPitch) ከነርቭ ቮኮደር (ለምሳሌ፣ HiFi-GAN) ጋር ያጣምራል።

ስልታዊ ተጽእኖ

መድረስ እና መድረስ

በጽሑፍ፣ በትረካ እና በድምፅ በይነገጾች ተደራሽነትን ያሻሽላል።

ወጪ እና በጀት

የሚዲያ ቡድኖች በትንሽ በጀቶች የተጣራ ድምጽ በፍጥነት መላክ ይችላሉ።

ፍጥነት እና ልኬት

ከደንበኛ ጋር የሚገናኙ ስርዓቶች የንግግር ግንኙነቶችን በትልቁ ደረጃ ማካሄድ ይችላሉ።

የወደፊት የNVDIA Riva እና የNeMo ንግግር

NVIDIA Riva እና NeMoን ወደ ተለቅ ባለ ብዙ ቋንቋ ተናጋሪ የንግግር ሞዴሎች እና ከ LLM-based ወኪሎች ጋር ከጫፍ እስከ ጫፍ የድምጽ ረዳቶች ወደ ጥብቅ ውህደት እየገፋቸው ነው። የበለጠ የበለጸገ ማበጀትን ይጠብቁ (የቃላት ማበልጸጊያ፣ ብጁ ድምጾች ከደቂቃዎች ውሂብ)፣ የተሻለ ጫጫታ-የአካባቢ ጥንካሬ እና እንደ ጄትሰን ባሉ መሳሪያዎች ላይ ዳታ-ማዕከል ጂፒዩዎችን የሚሸፍን ማሰማራት። ኒሞ ከጄነሬቲቭ ሞዴሎች ጋር አብሮ እየተሻሻለ ሲመጣ፣ በንግግር ማወቂያ፣ በትርጉም እና በንግግር ምክንያት መካከል ያለው መስመር ወደ የተዋሃዱ የአሁናዊ የቧንቧ መስመሮች መደበቁ ይቀጥላል።

የእውነተኛ-ዓለም አተገባበር

ቅጽበታዊ የጥሪ ማእከል ግልባጭ እና የቀጥታ ወኪል የደንበኛ ጥሪዎችን በቃላት ደረጃ የጊዜ ማህተም እንዲጽፍ ያግዛሉ።

በጥቂት ሰዓታት ቅጂዎች ላይ FastPitchን በNeMo ውስጥ በጥሩ ሁኔታ በማስተካከል ለምናባዊ ረዳት ብጁ ምልክት የተደረገባቸው TTS ድምጾችን መገንባት።

የቀጥታ መግለጫ ጽሑፍ እና የንግግር ትርጉም ለቪዲዮ ኮንፈረንስ ወይም ዝግጅቶች በNVDIA ጂፒዩዎች ላይ

NeMoን በመጠቀም የConformer ASR ሞዴልን በጎራ-ተኮር የህክምና ወይም ህጋዊ መዝገበ-ቃላት ላይ ማስተካከል፣ ከዚያም በሪቫ በኩል ማገልገል

አደጋዎች እና የጥበቃ መንገዶች

ስምምነት ሲጠፋ የድምፅ አላግባብ መጠቀም እና የማስመሰል አደጋዎች ይጨምራሉ።

ትክክለኛነት በአነጋገር ዘዬዎች፣ ቀበሌኛዎች ወይም ጫጫታ አካባቢዎች ላይ ሊወድቅ ይችላል።

ሰራሽ ኦዲዮ ግልጽ ምልክት ሳይደረግበት ለትክክለኛ ንግግር ሊሳሳት ይችላል።

የትግበራ ፍኖተ ካርታ

1

ለድምጽ ቀረጻ፣ ክሎኒንግ እና እንደገና ጥቅም ላይ ለማዋል ግልጽ የሆነ ፈቃድ ያግኙ።

2

በተለያዩ የድምጽ ማጉያዎች እና የበስተጀርባ ሁኔታዎች ላይ ጥራትን ይሞክሩ።

3

አንድ ሰው መቼ ውጤቶችን መገምገም ወይም ማጽደቅ እንዳለበት ይግለጹ።

4

ሰው ሰራሽ ኦዲዮን ይሰይሙ እና ለተጠያቂነት የፕሮቨንስ መዝገቦችን ያስቀምጡ።

ማሰስዎን ይቀጥሉ

ድምጽ AI

የንግግር ስርዓቶች ቋንቋን እንዴት እንደሚያውቁ እና እንደሚያመነጩ ይወቁ።

መመሪያ ያንብቡ

AI ሙዚቃ

ዘመናዊ የሙዚቃ-ትውልድ መሳሪያዎችን እና ገደቦችን ይረዱ።

መመሪያ ያንብቡ

Free newsletter

Get the daily AI briefing

Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.

One email each weekday. Unsubscribe in one click. We never sell or share your address.

Test yourself

Take the NVIDIA Riva and NeMo Speech quiz

Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.

ጥያቄ ጀምር

Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation

ቀጣይ መመሪያ

PESQ እና STOI የንግግር ጥራት መለኪያዎች

ቀጣዩን መመሪያ ያንብቡ ሁሉንም ጥያቄዎች ያስሱ

በተደጋጋሚ የሚጠየቁ ጥያቄዎች

What is NVIDIA Riva and NeMo Speech?

NVIDIA Riva በጂፒዩ የተጣደፈ ኤስዲኬ ለምርት ንግግር AI (ASR፣ TTS፣ እና ለትርጉም) ሲሆን NeMo ደግሞ የስር ሞዴሎችን ለማሰልጠን እና ለማስተካከል ክፍት ምንጭ መሳሪያ ነው። አብረው ገንቢዎች በNVDIA ሃርድዌር ላይ የሚሰሩ ፈጣን እና ሊበጁ የሚችሉ የድምጽ መተግበሪያዎችን እንዲገነቡ ፈቅደዋል።

በNeMo እና Riva መካከል ያለው ዋና ልዩነት ምንድነው?

ኔሞ የንግግር እና የቋንቋ ሞዴሎችን ለመገንባት እና ለማስተካከል ክፍት ምንጭ መሳሪያ ነው ፣ ግን ሪቫ ፓኬጆችን እና እነዚያን ሞዴሎች ለዝቅተኛ መዘግየት የምርት አጠቃቀም ያገለግላል።

ሪቫ ዝቅተኛ መዘግየትን ለማግኘት በየትኞቹ ሁለት የNVIDIA ቴክኖሎጂዎች ላይ ይመሰረታል?

ሪቫ ​​ለተመቻቸ የጂፒዩ አፈፃፀም ከ TensorRT ጋር ሞዴሎችን ያጠናቅራል እና ተለዋዋጭ ባንግ እና ኮንፈረንስ በሚይዘው በትሪቶን ኢንፈረንስ አገልጋይ በኩል ያገለግላቸዋል።

በተለመደው የ Riva TTS ቧንቧ መስመር ውስጥ እንደ HiFi-GAN ያለ የቮኮደር ሚና ምንድነው?

እንደ FastPitch ያለ አኮስቲክ ሞዴል ከጽሑፍ የስፔክትሮግራም ባህሪያትን ይተነብያል፣ እና እንደ HiFi-GAN ያለ የነርቭ ድምጽ ማጉያ እነዚያን ባህሪያት ወደ መጨረሻው የሚሰማ ሞገድ ይቀይራቸዋል።

በሪቫ ውስጥ 'ዥረት መልቀቅ' ASR ምን ያነቃል?

የዥረት ማወቂያ ኦዲዮን በትናንሽ ቁርጥራጮች ያስኬዳል እና ሙሉ ንግግሩ እስኪጠናቀቅ ከመጠበቅ ይልቅ በቅጽበት ከፊል ውጤቶችን ያስወጣል።

NeMo ለንግግር ሞዴሎች የነቃው የማበጀት ምሳሌ የትኛው ነው?

NeMo ገንቢዎች ቀድሞ የሰለጠኑ ሞዴሎችን በራሳቸው መረጃ እንዲያስተካክሉ ያስችላቸዋል፣ ለምሳሌ የASR ሞዴልን ልዩ የህክምና ወይም የህግ ቃላትን እንዲያውቁ ማላመድ።

ተዛማጅ መመሪያዎች