Résumé
NVIDIA Riva SDK la bu gaaw ci GPU ngir defar kàddu IA (ASR, TTS, ak tekki làkk), fekk NeMo mooy jumtukaayu open-source ngir tàggat ak defar model yi ci suuf. Ñoom ñaar ñu ngi may developpeur yi ñu defar aplikaasioŋu baat bu gaaw te ñu mëna tànn di dox ci hardware NVIDIA.
NVIDIA Riva ak NeMo Speech ñu ngi toog ci liggéeyu audio-AI biy soppi kàddu, music, ak son ngir jokkoo, yombal jëfandikoo gi, ak defar media.
Plongeur bu xóot
NeMo (Module Neural) mooy kaadar PyTorch bu NVIDIA ngir tabax IA buy waxtaan. Dafay yónnee ay model yuñ tàggat bu njëkk ngir xàmmee kàddu yi ci saa si (ASR), bind-ci-kaddu (TTS), ak liggéeyi làkk wiñ nàmp, ñu defaree ko ni 'module neuronal' yuñ mëna jëfandikoowaat, nga mën ko gëna defar ci say done. Riva mooy wàllu jëfandikoo gi: dafay ëmb ay model yuñ gëna defar ci ginnàaw serwëru gRPC buy daw, di jëfandikoo TensorRT ak Serwëru Inference Triton ngir am latency bu woyof ci escalier. Liggéey bu ñuy xam mooy tàggat wala méngale ab model ci NeMo, yóbbu ko ci formaa Riva, ba noppi jëfandikoo ko ngir transkripsioŋ wala synthese ci jamono dëgg. Riva dafay jàppale xàmmee streaming ak timestamps ci niveau baat, baat TTS neural, diarization waxkat, ak làkk yu bari, ñoom ñépp ñu ngi aju ci dox bu baax ci NVIDIA GPUs.
Gis-gis xarala
Gaawaayu Riva mingi aju ci dajale ay model ak TensorRT ba noppi di leen jox Triton, mooy boole kernel yi, jëfandikoo njubte bu wuute (FP16/INT8), ak boole ay laaj yuy boole ci anam wu dinaamik. Modèle ASR yu melni Conformer-CTC wala Parakeet dañuy stream audio ci ay pàcc yu ndaw boole ci tëye muy tekki, defar ay transkripsioŋ yu xaaj ci fukki milisegond. Tuyo TTS yi dañuy boole xeetu akustik (lu melni, FastPitch) ak vocoder neuronal (lu melni, HiFi-GAN) ngir defar forme onde yu gëna gaaw ci benn GPU.
NVIDIA Riva ak NeMo
NVIDIA Riva SDK la bu gaaw ci GPU ngir defar kàddu IA (ASR, TTS, ak tekki làkk), fekk NeMo mooy jumtukaayu open-source ngir tàggat ak defar model yi ci suuf. Ñoom ñaar ñu ngi may developpeur yi ñu defar aplikaasioŋu baat bu gaaw te ñu mëna tànn di dox ci hardware NVIDIA. NVIDIA Riva ak NeMo Speech ñu ngi toog ci liggéeyu audio-AI biy soppi kàddu, music, ak son ngir jokkoo, yombal jëfandikoo gi, ak defar media. Ngir tabax xam-xam bu xóot, jàppal NVIDIA Riva ak NeMo Speech ni xeetu liggéey, du benn man-man: leeral njariñ yi nga bëgg, leeral xalaat yi, ba noppi tàqale li sistem bi mëna def ci anam wu wóor ak li ba leegi soxla àtteb kàngam.
Ci jëf, ekip yu am doole yiy jëfandikoo NVIDIA Riva ak NeMo Speech dañuy jàppee kalite, latency, ak nangu ni cër yu am solo ci pexem dugal. Dañuy bind kritër yu leer ngir am ndam, natt leen ci done yu dëggu ak def liggéey, ba noppi ñu baamtu ci anamu ñàkka mëna seetlu, du ci benn yoon benchmark wins. Mooy barab bi xam-xam theorie bi di soppiku nekk kàttan buy yàgg ci produit yi, ci politik yi ak ci liggéey yi.
Dafay gëna yombal jëfandikoo gi jaaraleko ci transkripsioŋ, nettali ak interfaasu baat. Ci jamano jooju, risku jëfandikoo Baat bu baaxul ak niru ak nit dafay gëna yokk sudee nanguwul. Xeetu jëf bi gëna dëgër mooy boole gaawaayu jàngat ak disipline nguur: doxal pilote, jàpp firnde, siiwal dogal yi, ak wéy di yeesal kaaraange gi ci anam wi ñuy doxalee, li jëfandikukat bi di xaar, ak sàrti sàrt yi di jëm kanam.
njeextalu pexe
Dafay gëna yombal jëfandikoo gi jaaraleko ci transkripsioŋ, nettali ak interfaasu baat.
Dafay gëna yombal jëfandikoo gi jaaraleko ci transkripsioŋ, nettali ak interfaasu baat. Ci jëfandikoo yu am kalite bu kawe, loolu dañu koy tekki ci sàrti liggéey yuñ mëna natt, ay peggu boroom, ak ay xew-xewu xoolaat yu bari suko defee ekip yi mëna yokk wóolu seen bopp ci barabu yokk lu jaxasoo.
Ekipu mejaa yi mën nañu yónnee audio bu leer ci anam wu gëna gaaw te seen xaalis gëna néew.
Ekipu mejaa yi mën nañu yónnee audio bu leer ci anam wu gëna gaaw te seen xaalis gëna néew. Ci jëfandikoo yu am kalite bu kawe, loolu dañu koy tekki ci sàrti liggéey yuñ mëna natt, ay peggu boroom, ak ay xew-xewu xoolaat yu bari suko defee ekip yi mëna yokk wóolu seen bopp ci barabu yokk lu jaxasoo.
Sistem yiy jàkkarloo ak kiliyaan bi mën nañu def waxtaan ci anam wu gëna yaatu.
Sistem yiy jàkkarloo ak kiliyaan bi mën nañu def waxtaan ci anam wu gëna yaatu. Ci jëfandikoo yu am kalite bu kawe, loolu dañu koy tekki ci sàrti liggéey yuñ mëna natt, ay peggu boroom, ak ay xew-xewu xoolaat yu bari suko defee ekip yi mëna yokk wóolu seen bopp ci barabu yokk lu jaxasoo.
Doxal ci àdduna dëgg
Transkripsiyoŋu santaru woote ci jamono dëgg ak ndimbalu ndawu liggéey biy bind wootu kiliyaan yi ci timbre waxtu ci niveau baat
Tabax ay baat TTS yu màrk ngir assistant virtuel ci defar FastPitch ci NeMo ci ay waxtu enregistrement yu néew
Sous-titre ak tekki kàddu ngir ndaje wideo wala xew-xew yuy dawal ci NVIDIA GPUs
Defar ab xeetu Conformer ASR ci vocabulaire medikaal wala yoon bu jëm ci domen bi jëfandikoo NeMo, ba noppi nga joxe ko jaaraleko ci Riva
Modèlu jëfandikoo
NVIDIA Riva ak NeMo wax ci jëf
Transkripsioŋu santaru woote ci jamono dëgg ak ndimbalu ndawu liggéey biy bind wootu kiliyaan yi ci timbre waxtu ci niveau baat.
Transcription call-center ci jamono dëgg ak agent live jàppale ci captions woote kiliyaan yi ak timestamps niveau word Teams yi dañuy faral di am njariñ yu gëna baax suñu joxee threshold yu baax ci kanam, tëye yoonu escalation nit ngir jafe-jafe yi, ba noppi topp njariñu produit ak njëgu njuumte ci diir bi.
NVIDIA Riva ak NeMo wax ci jëf
Tabax ay baat TTS yu màrku ngir assistant virtuel ci defar FastPitch ci NeMo ci ay waxtu yu néew ci enregistrement.
Tabax kàddu TTS yu màrku ngir assistant virtuel ci fine-tuning FastPitch ci NeMo ci ay waxtu yu néew ci enregistrement Teams yi dañuy faral di am njariñ yu gëna baax suñu joxee threshold yu baax ci kanam, tëye yoonu escalation nit ngir jafe-jafe yi, ba noppi topp njariñu produit ak njëgu njuumte ci diir bi.
NVIDIA Riva ak NeMo wax ci jëf
Tekki kàddu yi ci saasi ngir ndaje wideo wala xew-xew yi ci NVIDIA GPUs.
Live captioning ak tekki kàddu ngir ndaje wideo wala xew-xew streaming ci NVIDIA GPUs Ekip yi dañuy faral di am njariñ yu gëna baax suñu leeralee kalite ci kanam, tëye yoonu escalation nit ngir jafe-jafe yi, ba noppi topp njariñu produit ak njëgu njuumte ci diir bi.
NVIDIA Riva ak NeMo wax ci jëf
Defar ab xeetu Conformer ASR ci vocabulaire medikaal wala yoon bu jëm ci domen bi jëfandikoo NeMo, ba noppi nga joxe ko jaaraleko ci Riva.
Fine-tuning benn xeetu Conformer ASR ci domen-specific vocabulaire medical wala legal di jëfandikoo NeMo, ba noppi di ko liggéey ci Riva Teams dañuy faral di am njariñ yu gëna baax suñu leeralee kalite ci kanam, tëye yoonu escalation nit ngir jafe-jafe yi, ba noppi topp njariñu produit ak njëgu njuumte ci diir bi.
Risk yi ak balustrade yi
Jëfandikoo baat ci anam wu jaarul yoon ak niru ak nit dafay gëna yokk sudee nanguwul.
Jaar-jaar mën na wàññeeku ci aksan yi, dialect yi wala barab yu bari xumbaay.
Audio synthetik mën nañu ko jaawale ak wax ju dëggu sudee amul etiket bu leer.
Roadmap ngir samp gi
Wutal ndigal bu leer ngir jàpp baat bi, klone ko ak jëfandikoowaat ko.
Wutal ndigal bu leer ngir jàpp baat bi, klone ko ak jëfandikoowaat ko. Japp jéego bu nekk ni buntu firnde: sudee mattul kritër yi, noppali génne gi, tëj bërëb bi, ba noppi nga yaatal jëfandikoo gi.
Saytu kalite ci kàddukat yu bari ak anam yu bari ci ginaaw.
Saytu kalite ci kàddukat yu bari ak anam yu bari ci ginaaw. Japp jéego bu nekk ni buntu firnde: sudee mattul kritër yi, noppali génne gi, tëj bërëb bi, ba noppi nga yaatal jëfandikoo gi.
Mandargal kañ la nit wara xoolaat wala nangu ay génne.
Mandargal kañ la nit wara xoolaat wala nangu ay génne. Japp jéego bu nekk ni buntu firnde: sudee mattul kritër yi, noppali génne gi, tëj bërëb bi, ba noppi nga yaatal jëfandikoo gi.
Etiketu audio synthetik te nga denc dokimaa ci fimu bawoo ngir mëna lim.
Etiketu audio synthetik te nga denc dokimaa ci fimu bawoo ngir mëna lim. Japp jéego bu nekk ni buntu firnde: sudee mattul kritër yi, noppali génne gi, tëj bërëb bi, ba noppi nga yaatal jëfandikoo gi.