Nchịkọta
NVIDIA Riva bụ SDK nke GPU mebere maka mmepụta okwu AI (ASR, TTS, na ntụgharị), ebe NeMo bụ ngwa ọrụ mepere emepe maka ọzụzụ na imezigharị ụdị dị n'okpuru. Ha na-ahapụ ndị mmepe ka ha wuo ngwa olu ngwa ngwa, ahaziri nke na-arụ na ngwaike NVIDIA.
NVIDIA Riva na NeMo Speech na-anọdụ n'usoro ọdịyo-AI nke na-agbanwe okwu, egwu, na ụda maka nzikọrịta ozi, nnweta na mmepụta mgbasa ozi.
Ime miri emi
NeMo (Modules Neural) bụ ntọala PyTorch mepere emepe nke NVIDIA maka iwulite mkparịta ụka AI. Ọ na-ebufe ụdị a zụrụ azụ maka njirimara okwu akpaaka (ASR), ederede-gaa-okwu (TTS), yana ọrụ asụsụ eke, ahaziri dị ka 'modul neuron' nke enwere ike ijikwa ya, ị nwere ike ịhazigharị na data nke gị. Riva bụ akụkụ mbugharị: ọ na-achịkọta ụdị kachasị mma n'azụ ihe nkesa gRPC na-enuba, na-eji TensorRT na Triton Inference Server iji kụọ obere latency n'ọtụtụ. Otu usoro na-arụ ọrụ na-azụ ma ọ bụ na-emegharị ihe nlereanya na NeMo, na-ebupụ ya na usoro Riva, wee na-ejere ya ozi maka nsụgharị ma ọ bụ nhazi oge. Riva na-akwado nkwanye ugwu site na stampụ ọkwa ọkwa okwu, olu TTS neural, ịkpọ okwu okwu, na ọtụtụ asụsụ, ha niile na-ege ntị ka ha na-agba ọsọ nke ọma na NVIDIA GPUs.
Nghọta nka nka
Ọsọ Riva na-abịa site n'ịchịkọta ụdị ya na TensorRT na ijere ha ozi site na Triton, nke na-eme ka kernels, na-etinye nkenke-nkenke (FP16/INT8), yana batches arịrịọ n'otu oge. Ụdị ASR dị ka Conformer-CTC ma ọ bụ Parakeet iyi ọdịyo na obere chunks ka ị na-edobe ọnọdụ ya, na-emepụta transcript akụkụ n'ime iri puku kwuru iri milliseconds. pipeline TTS jikọtara ụdị ụda olu (dịka, FastPitch) na ụda olu olu (dịka, HiFi-GAN) iji mepụta ụdị ebili mmiri ngwa ngwa karịa ozugbo na otu GPU.
Ịkụzi NVIDIA Riva na NeMo Okwu
NVIDIA Riva bụ SDK nke GPU mebere maka mmepụta okwu AI (ASR, TTS, na ntụgharị), ebe NeMo bụ ngwa ọrụ mepere emepe maka ọzụzụ na imezigharị ụdị dị n'okpuru. Ha na-ahapụ ndị mmepe ka ha wuo ngwa olu ngwa ngwa, ahaziri nke na-arụ na ngwaike NVIDIA. NVIDIA Riva na NeMo Speech na-anọdụ n'usoro ọdịyo-AI nke na-agbanwe okwu, egwu, na ụda maka nzikọrịta ozi, nnweta na mmepụta mgbasa ozi. Iji wulite nghọta miri emi, na-emeso NVIDIA Riva na NeMo Speech dị ka ihe nlereanya na-arụ ọrụ, ọ bụghị otu njirimara: kọwaa nsonaazụ achọrọ, dokwuo anya echiche, ma kewaa ihe usoro ahụ nwere ike ime nke ọma na ihe ka na-achọ mkpebi ndị ọkachamara.
Na omume, ndị otu siri ike na-eji NVIDIA Riva na NeMo Speech na-emeso ịdịmma, nkwụsịtụ, na nkwenye dị ka akụkụ dị mkpa nke atụmatụ mbugharị. Ha na-edepụta njirisi ịga nke ọma nke ọma, nwalee megide data ziri ezi yana usoro ọrụ, yana na-atụgharị dabere na usoro ọdịda ahụrụ karịa karịa mmeri otu oge. Nke a bụ ebe nghọta usoro ihe atụ na-atụgharị ghọọ ike na-adịgide adịgide n'ofe ngwaahịa, amụma na arụmọrụ.
Ọ na-eme ka nnweta ya dịkwuo mma site na ndegharị, ịkọ akụkọ, na ntụgharị olu. N'otu oge ahụ, iji olu eme ihe n'ụzọ na-ezighị ezi na ihe egwu mpụta ga-abawanye mgbe nkwenye na-efu. Ụzọ kachasị na-agbanwe agbanwe bụ ijikọ ọsọ nnwale na ịdọ aka ná ntị ọchịchị: ndị na-anya ụgbọ elu, ijide ihe akaebe, bipụta ndekọ mkpebi, na na-aga n'ihu na-emelite nchekwa dị ka omume nlereanya, atụmanya ndị ọrụ, na ihe iwu chọrọ.
Mmetụta atụmatụ
Ọ na-eme ka nnweta ya dịkwuo mma site na ndegharị, ịkọ akụkọ, na ntụgharị olu.
Ọ na-eme ka nnweta ya dịkwuo mma site na ndegharị, ịkọ akụkọ, na ntụgharị olu. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.
Ndị otu mgbasa ozi nwere ike ibubata ọdịyo a na-egbu maramara ngwa ngwa site na iji obere mmefu ego.
Ndị otu mgbasa ozi nwere ike ibubata ọdịyo a na-egbu maramara ngwa ngwa site na iji obere mmefu ego. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.
Sistemụ na-eche ihu ndị ahịa nwere ike hazie mkparịta ụka n'ọtụtụ buru ibu.
Sistemụ na-eche ihu ndị ahịa nwere ike hazie mkparịta ụka n'ọtụtụ buru ibu. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.
Mmejuputa n'ezie n'ụwa
Ndebanye aha n'etiti oku na-eme n'ezie na onye na-ebi ndụ na-enyere aka na-eji akara ngosi ọkwa okwu dee oku ndị ahịa
Iwulite olu TTS ahaziri ahaziri maka onye enyemaka mebere site na imezi FastPitch dị mma na NeMo n'ime awa ole na ole nke ndekọ.
Nkọwa okwu dị ndụ na ntụgharị okwu maka nnọkọ vidiyo ma ọ bụ mmemme nkwanye na NVIDIA GPUs
Idozi ihe nlere ASR nke Conformer nke ọma na ngalaba ahụike akọwapụtara ma ọ bụ okwu iwu site na iji NeMo, wee jee ozi site na Riva
Usoro mmejuputa
NVIDIA Riva na NeMo Okwu na omume
Ndebanye aha n'etiti oku na-eme n'ezie na onye na-ebi ndụ na-enyere aka na-eji akara ngosi ọkwa okwu dee oku ndị ahịa.
Ndegharị oku n'ezie na onye na-ebi ndụ na-enyere aka na nkọwa okwu ndị ahịa na-eji akara oge ọkwa ọkwa Otu dị iche iche na-enweta nsonaazụ kacha mma mgbe ha na-akọwapụta ọnụ ụzọ dị mma n'ihu, na-edobe ụzọ ịrị elu mmadụ maka ikpe ikpe, ma soro ma uru nrụpụta yana ụgwọ njehie n'ime oge.
NVIDIA Riva na NeMo Okwu na omume
Iwulite olu TTS ahaziri ahaziri maka onye enyemaka mebere site na imezi FastPitch dị mma na NeMo n'ime awa ole na ole nke ndekọ.
Ịmepụta ụda olu TTS omenala maka onye enyemaka mebere site na imezi FastPitch na NeMo n'ime awa ole na ole nke ndekọ Otu ìgwè na-enwetakarị nsonaazụ ka mma mgbe ha na-akọwapụta ọnụ ụzọ dị mma n'ihu, na-eme ka ụzọ mmadụ dịkwuo elu maka ikpe ikpe, ma soro ma uru arụpụtaghị ihe na ụgwọ njehie na oge.
NVIDIA Riva na NeMo Okwu na omume
Nkọwa okwu dị ndụ na ntụgharị okwu maka nnọkọ vidiyo ma ọ bụ mmemme nkwanye na NVIDIA GPUs.
Nkọwa okwu dị ndụ na ntụgharị okwu maka nnọkọ vidiyo ma ọ bụ ihe omume nkwanye na NVIDIA GPUs Otu na-enwetakarị nsonaazụ ka mma mgbe ha kọwapụtara ọnụ ụzọ dị mma n'ihu, debe ụzọ nkwalite mmadụ maka ikpe ọnụ, ma soro ma uru nrụpụta yana ụgwọ njehie n'ime oge.
NVIDIA Riva na NeMo Okwu na omume
Idozi ezigbo ihe nlere ASR nke Conformer na ngalaba ahụike akọwapụtara ma ọ bụ okwu iwu site na iji NeMo, wee jeere ya ozi site na Riva.
Nlegharị anya nke ọma ihe nlereanya ASR nke Conformer na ngalaba-kpọmkwem ọgwụ ma ọ bụ okwu iwu site na iji NeMo, wee na-ejere ya ozi site na ndị otu Riva na-enwetakarị nsonaazụ ka mma mgbe ha na-akọwapụta ọnụ ụzọ dị mma n'ihu, debe ụzọ ịrị elu mmadụ maka ikpe ihu, ma soro ma uru nrụpụta na ụgwọ njehie n'ime oge.
Ihe ize ndụ & okporo ụzọ nche
Iji olu eme ihe na ihe egwu mpụta ga-abawanye mgbe nkwenye na-efu.
Izi ezi nwere ike ịdaba n'ofe ụda olu, olumba ma ọ bụ gburugburu mkpọtụ.
Enwere ike imehie ọdịyo sịntetik dị ka ezigbo okwu na-enweghị akara doro anya.
Map mmejuputa
Nweta nkwenye doro anya maka ijide olu, imechi, na ijigharị.
Nweta nkwenye doro anya maka ijide olu, imechi, na ijigharị. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.
Nwale ogo n'ofe ndị na-ekwu okwu dị iche iche yana ọnọdụ ndabere.
Nwale ogo n'ofe ndị na-ekwu okwu dị iche iche yana ọnọdụ ndabere. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.
Kọwaa mgbe mmadụ ga-enyocha ma ọ bụ kwado nsonye.
Kọwaa mgbe mmadụ ga-enyocha ma ọ bụ kwado nsonye. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.
Deba aha ọdịyo sịntetik ma debe ndekọ ihe ndekọ maka ịza ajụjụ.
Deba aha ọdịyo sịntetik ma debe ndekọ ihe ndekọ maka ịza ajụjụ. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.