Audio AI Itọsọna
NVIDIA Riva ati NeMo Ọrọ
NVIDIA Riva jẹ SDK isare GPU fun iṣelọpọ ọrọ AI (ASR, TTS, ati itumọ), lakoko ti NeMo jẹ ohun elo irinṣẹ orisun-ìmọ fun ikẹkọ ati ṣiṣe atunṣe awọn awoṣe ti o wa labẹ.
Gbọ si itọsọna yiiAI-ṣe afihan · ~2 min
Lori iwe yi2 min ka
Akopọ
Papọ wọn jẹ ki awọn olupilẹṣẹ kọ awọn ohun elo ohun ti o yara, ti o le ṣe asefara ti o nṣiṣẹ lori awọn ohun elo NVIDIA.
Jin Dive
NeMo (Neural Modules) jẹ ipilẹ-orisun PyTorch ti NVIDIA fun kikọ AI ibaraẹnisọrọ. O gbe awọn awoṣe ti a ti kọkọ tẹlẹ fun idanimọ ọrọ aifọwọyi (ASR), ọrọ-si-ọrọ (TTS), ati awọn iṣẹ ṣiṣe ede ti ẹda, ti a ṣeto bi ‘awọn modulu nkankikan’ ti o tun le lo o le ṣe atunṣe daradara lori data tirẹ. Riva jẹ ẹgbẹ imuṣiṣẹ: o ṣe akopọ awọn awoṣe iṣapeye lẹhin olupin gRPC ṣiṣanwọle, ni lilo TensorRT ati Triton Inference Server lati kọlu lairi kekere ni iwọn. Ṣiṣan iṣan-iṣẹ aṣoju kan ṣe ikẹkọ tabi ṣe adaṣe awoṣe kan ni NeMo, gbejade lọ si ọna kika Riva, lẹhinna ṣe iranṣẹ fun transcription akoko gidi tabi iṣelọpọ. Riva ṣe atilẹyin idanimọ ṣiṣanwọle pẹlu awọn ami akoko ipele-ọrọ, awọn ohun TTS neural, diarization agbọrọsọ, ati ọpọlọpọ awọn ede, gbogbo aifwy lati ṣiṣẹ daradara lori NVIDIA GPUs.
Real-World imuse
Ipilẹṣẹ ile-iṣẹ ipe ni akoko gidi ati oluranlowo laaye ṣe iranlọwọ pe awọn ifori awọn ipe alabara pẹlu awọn akoko akoko ipele-ọrọ
Ṣiṣe awọn ohun TTS ti aṣa ti aṣa fun oluranlọwọ foju nipasẹ ṣiṣe atunṣe-daradara FastPitch ni NeMo lori awọn wakati diẹ ti awọn gbigbasilẹ
Ifilelẹ ifiwe ati itumọ ọrọ fun apejọ fidio tabi awọn iṣẹlẹ ṣiṣanwọle lori NVIDIA GPUs
Ṣiṣatunṣe didara awoṣe ASR Conformer kan lori iṣoogun kan pato-ašẹ tabi awọn fokabulari ofin nipa lilo NeMo, lẹhinna ṣiṣẹsin nipasẹ Riva
Ọjọ iwaju ti NVIDIA Riva ati Ọrọ NeMo
NVIDIA n titari Riva ati NeMo si ọna ti o tobi, awọn awoṣe ọrọ ipilẹ ede pupọ diẹ sii ati isọpọ ti o pọ pẹlu awọn aṣoju orisun LLM fun awọn oluranlọwọ ohun opin-si-opin. Reti isọdi ti o ni oro sii (igbega ọrọ, awọn ohun aṣa lati awọn iṣẹju ti data), agbara ariwo-ayika ti o dara julọ, ati imuṣiṣẹ ti o tan GPU aarin data si awọn ẹrọ eti bi Jetson. Bi NeMo ṣe ndagba lẹgbẹẹ awọn awoṣe ipilẹṣẹ, laini laarin idanimọ ọrọ, itumọ, ati ironu ibaraẹnisọrọ yoo tẹsiwaju lati blur sinu awọn opo gigun ti akoko gidi.
Fifi o sinu iwa
Kini idi ti o ṣe pataki
- Wiwọle ati arọwọto. O ṣe ilọsiwaju iraye si nipasẹ transcription, alaye, ati awọn atọkun ohun.
- Iye owo ati isuna. Awọn ẹgbẹ Media le firanṣẹ ohun didan yiyara pẹlu awọn isuna-owo kekere.
- Iyara ati iwọn. Awọn ọna ṣiṣe ti nkọju si alabara le ṣe ilana awọn ibaraẹnisọrọ sisọ ni iwọn nla.
Ṣọra fun
- ilokulo ohun ati awọn ewu afarawe ṣe pọ si nigbati igbanilaaye ba sonu.
- Yiye le ju silẹ kọja awọn asẹnti, awọn ede-ede, tabi awọn agbegbe alariwo.
- Ohun afetigbọ sintetiki le jẹ aṣiṣe fun ọrọ ododo laisi isamisi to yege.
Next awọn igbesẹ
- Gba ifọkansi ti o fojuhan fun gbigba ohun, ti ẹda, ati ilotunlo.
- Didara idanwo kọja awọn agbohunsoke oniruuru ati awọn ipo abẹlẹ.
- Ṣetumo nigbati eniyan gbọdọ ṣe atunyẹwo tabi fọwọsi awọn abajade.
- Aami ohun sintetiki ki o tọju awọn igbasilẹ provenance fun iṣiro.
Tesiwaju Ṣiṣawari
Ìwé ìròyìn ọfẹ
Gba ìkànìyàn AI ojoojúmọ́
Ìtàn AI mẹta tó jẹ́rìí ní gbogbo owurọ́ ọjọ́ iṣẹ́, kọ́wé ní Gẹ̀ẹ́sì tó rọrùn. Ọfẹ́ fún gbogbo àkókò, kò sí ìpolówó.
Ìmeèlì kan ní gbogbo ọjọ́ iṣẹ́. Yọkúrò ní ìkànìyàn ní ìkànìyàn kan. A kò ta tàbí pín àdírẹ́sì rẹ.
Ṣe idanwo fun ara rẹ
Mu ibeere NVIDIA Riva ati NeMo Ọrọ
Ìdáhùn lẹ́sẹ̀kẹsẹ̀ lórí gbogbo ìdáhùn, àti iwe-ẹ̀rí tó lè pin pẹ̀lú ID tó lè jẹ́rìí lẹ́yìn tí o bá kọ́ ẹ̀kọ́.
Ṣe àtìlẹ́yìn ẹ̀kọ́ AI ọfẹ́. AI Understanding jẹ́ àjọ àìní èrè 501(c)(3) — kò sí ìpolówó, kò sí àkúnya owó, ní gbogbo àkókò. Ṣe ẹbun kan
Awọn ibeere ti a beere nigbagbogbo
Kini NVIDIA Riva ati NeMo Ọrọ?
NVIDIA Riva jẹ SDK isare GPU fun iṣelọpọ ọrọ AI (ASR, TTS, ati itumọ), lakoko ti NeMo jẹ ohun elo irinṣẹ orisun-ìmọ fun ikẹkọ ati ṣiṣe atunṣe awọn awoṣe ti o wa labẹ. Papọ wọn jẹ ki awọn olupilẹṣẹ kọ yarayara, awọn ohun elo ohun asefara ti o ṣiṣẹ lori ohun elo NVIDIA.
Kini iyatọ akọkọ laarin NeMo ati Riva?
NeMo jẹ ohun elo irinṣẹ orisun-ìmọ fun kikọ ati isọdọtun-fifẹ ọrọ ati awọn awoṣe ede, lakoko ti awọn idii Riva ati ṣe iranṣẹ awọn awoṣe wọnyẹn fun lilo iṣelọpọ lairi kekere.
Awọn paati NVIDIA wo ni iwe-ipamọ Riva ṣe idanimọ fun ipaniyan awoṣe iṣapeye ati iṣẹ itọkasi?
TensorRT ati Triton ni ipaniyan pato ati awọn ipa iṣẹ; batching pato ati ihuwasi lairi da lori opo gigun ti epo ti a fi ranṣẹ.
Ninu opo gigun ti epo Riva TTS aṣoju, kini ipa ti vocoder bii HiFi-GAN?
Awoṣe akositiki gẹgẹbi FastPitch ṣe asọtẹlẹ awọn ẹya spectrogram lati ọrọ, ati vocoder nkankikan bi HiFi-GAN yi awọn ẹya wọnyẹn pada si fọọmu igbi igbohun ikẹhin.
Kini 'sisanwọle' ASR ni Riva ṣiṣẹ?
Ṣiṣe idanimọ ṣiṣanwọle ohun ni awọn ṣoki kekere ati gbejade awọn abajade apakan ni akoko gidi, dipo iduro fun gbogbo ọrọ lati pari.
Ewo ni apẹẹrẹ ti isọdi NeMo n fun awọn awoṣe ọrọ?
NeMo jẹ ki awọn olupilẹṣẹ ṣe atunṣe awọn awoṣe ti a ti kọkọ ni itanran lori data tiwọn, fun apẹẹrẹ mimuṣatunṣe awoṣe ASR kan lati ṣe idanimọ iṣoogun pataki tabi awọn ọrọ ofin.
Tesiwaju kikọ
Jẹmọ awọn itọsọna
Awọn itọsọna diẹ sii ti a yan fun koko yii