HAGAHA Audio AI

Jasper iyo QuartzNet ASR

Jasper iyo QuartzNet waa NVIDIA dhamaadka-ilaa-dhamaadka moodooyinka aqoonsiga hadalka ee kacaanka ah, iyadoo QuartzNet ay tahay mid aad u yar, dib-u-qaabayn hufan oo Jasper ah.

Dulmar

Jasper iyo QuartzNet waa NVIDIA dhamaadka-ilaa-dhamaadka moodooyinka aqoonsiga hadalka ee kacaanka ah, iyadoo QuartzNet ay tahay mid aad u yar, dib-u-qaabayn hufan oo Jasper ah. Waxay muhiim u yihiin inay muujiyaan sida loo helo saxsanaan adag oo leh cabbirro aad uga yar, oo ku habboon in la diro.

Jasper iyo QuartzNet ASR waxay ku fadhiyaan qulqulka shaqada maqalka-AI kaas oo beddela hadalka, muusiga, iyo codka isgaarsiinta, gelista, iyo soosaarka warbaahinta.

quusitaanka qoto dheer

Jasper (Kaliya Aqoonta Hadalka Kale), oo ay sii daysay NVIDIA 2019, waa shabakad qotodheer oo 1D ah, ilaa 54 lakab, kaas oo khariidadaha mel-spectrogram u dhigaya jilayaasha isticmaalaya khasaaraha CTC. Waxay soo bandhigtay isku-xirno cufan oo haraaga ah si gradients-ku si nadiif ah ugu qulqulaan xirmooyin aad u qoto dheer. QuartzNet, oo la sii daayay isla sanadkaas, waxay ilaalisay qaab dhismeedka Jasper laakiin waxay ku beddeshay convolutions caadiga ah oo leh waqti-channel convolutions kala saari kara, u kala qaybin shaandhayn kasta oo u kala qaybsanaan ku meel gaar ah oo qoto dheer iyo tallaabo isku darka kanaalka qumman. Wax-soo-saarkan ayaa hoos u dhigay cabirrada Jasper ee ku dhawaad ​​333 milyan ilaa ku dhawaad ​​19 milyan iyada oo la mid ah saxnaanta Librispeech. Labada markab ee NVIDIA's NeMo Toolkit waxaana loo habeeyey tababbarka degdegga ah ee GPU-ga iyo soo-jeedinta waqtiga-dhabta ah, taasoo ka dhigaysa dhismooyin caan ah oo wax soo saar leh ASR.

Aragtida Farsamada

Waxtarka QuartzNet wuxuu ka yimaadaa kanaalka waqtiga-waqtiga isku-dhafan, fikrad la mid ah ayaa ka dambeysa MobileNet. Isku-dhafka caadiga ah ee 1D wuxuu isku daraa wakhtiga iyo kanaalada, qiimihiisu K times C-in waqtiyada C-baxyada miisaannada. U kala soocida is-dhexgal qotodheer oo qoto dheer oo waqti ah oo lagu daray 1x1 iskudhafan dhanka kanaalada ah waxay yaraynaysaa qiyaasaha K times C iyo C-in times C-out. Isku duuban baloogyada haraaga ah oo lagu tababaray CTC, tani waxay siinaysaa saxnaanta Jasper ee u dhow qayb yar oo ka mid ah cabbirka qaabka iyo xisaabinta.

Mastering Jasper iyo QuartzNet ASR

Jasper iyo QuartzNet waa NVIDIA dhamaadka-ilaa-dhamaadka moodooyinka aqoonsiga hadalka ee kacaanka ah, iyadoo QuartzNet ay tahay mid aad u yar, dib-u-qaabayn hufan oo Jasper ah. Waxay muhiim u yihiin inay muujiyaan sida loo helo saxsanaan adag oo leh cabbirro aad uga yar, oo ku habboon in la diro. Jasper iyo QuartzNet ASR waxay ku fadhiyaan qulqulka shaqada maqalka-AI kaas oo beddela hadalka, muusiga, iyo codka isgaarsiinta, gelista, iyo soosaarka warbaahinta. Si loo dhiso faham qoto dheer, ula dhaqan Jasper iyo QuartzNet ASR sida moodal hawleed, ma aha hal sifo: qeex natiijooyinka la rabo, cadee fikradaha, oo kala saar waxa nidaamku si kalsooni leh u qaban karo iyo waxa weli u baahan xukun khabiir.

Ficil ahaan, kooxaha xoogga leh ee isticmaalaya Jasper iyo QuartzNet ASR waxay ula dhaqmaan tayada, daahitaanka, iyo oggolaanshaha sida qaybo muhiim ah oo isku mid ah oo ka mid ah istiraatijiyadda geynta. Waxay diiwaangeliyaan shuruudaha guusha ee cad, tijaabiyaan xogta dhabta ah iyo qulqulka shaqada, waxayna ku celceliyaan ku saleysan qaababka guul darrida ee la arkay halkii ay hal mar ku guuleysan lahaayeen halbeegyada. Tani waa halka fahamka aragtida uu isu beddelo karti waara oo dhan badeecada, siyaasadda, iyo hawlgallada.

Waxay wanaajisaa marin u helida iyada oo loo marayo qoraal-qorid, sheeko, iyo is-dhexgalyo cod. Isla mar ahaantaana, si xun u isticmaalka codka iyo khataraha is-yeelyeelku way kordhaan marka oggolaanshaha la waayo. Habka ugu adkeysi badan waa in la isku daro xawaaraha tijaabada iyo anshaxa maamulka: socodsiinta duuliyayaasha, qabashada caddaynta, daabacaadda go'aanka, iyo si joogto ah u cusboonaysii ilaalinta sida habdhaqanka moodeelka, filashada isticmaale, iyo shuruudaha sharciyaynta.

Saamaynta Istiraatijiyadeed

Waxay wanaajisaa marin u helida iyada oo loo marayo qoraal-qorid, sheeko, iyo is-dhexgalyo cod.

Waxay wanaajisaa marin u helida iyada oo loo marayo qoraal-qorid, sheeko, iyo is-dhexgalyo cod. Hawlgelinta tayada sare leh, tan waxaa loo tarjumaa shuruuc hawleed la cabbiri karo, xuduudaha lahaanshaha, iyo caadooyinka dib u eegista soo noqnoqda si kooxuhu ay u cabbiraan kalsoonida halkii ay ka saari lahaayeen madmadowga.

Kooxaha warbaahintu waxay ku soo rari karaan codka sifaysan si degdeg ah iyagoo wata miisaaniyado yaryar.

Kooxaha warbaahintu waxay ku soo rari karaan codka sifaysan si degdeg ah iyagoo wata miisaaniyado yaryar. Hawlgelinta tayada sare leh, tan waxaa loo tarjumaa shuruuc hawleed la cabbiri karo, xuduudaha lahaanshaha, iyo caadooyinka dib u eegista soo noqnoqda si kooxuhu ay u cabbiraan kalsoonida halkii ay ka saari lahaayeen madmadowga.

Nidaamyada u jeedda macmiisha waxay ka baaraandegi karaan isdhexgalka hadalka si weyn.

Nidaamyada u jeedda macmiisha waxay ka baaraandegi karaan isdhexgalka hadalka si weyn. Hawlgelinta tayada sare leh, tan waxaa loo tarjumaa shuruuc hawleed la cabbiri karo, xuduudaha lahaanshaha, iyo caadooyinka dib u eegista soo noqnoqda si kooxuhu ay u cabbiraan kalsoonida halkii ay ka saari lahaayeen madmadowga.

Mustaqbalka Jasper iyo QuartzNet ASR

QuartzNet's line-convolution lineage si toos ah u horseeday NVIDIA's Citrinet iyo moodooyinka Conformer-ka ee aadka loo isticmaalo, kuwaas oo ku dara is-fiirsi si ay u qabtaan macnaha guud ee caalamiga ah iyada oo ay weheliso iskudhacyada maxalliga ah. Filo dhaqdhaqaaqa sii socda ee ku wajahan convolution-ka iyo qaab-dhismeedyada fiiro gaar ah iyo beddelayaasha (RNN-T) ee baahinta. Casharka udub-dhexaadka u ah, isbedbeddelka waxtarka leh ee cidhifka iyo geynta-waqtiga-dhabta ah, ayaa weli udub dhexaad u ah marka ASR ay ku riixdo taleefannada, baabuurta, iyo aaladaha ku xidhan.

Dhaqangelinta Adduunka-dhabta ah

Qoraal-waqtiga-dhabta ah iyo caawiyayaasha codka ayaa la geeyay NVIDIA GPU-yada iyada oo loo sii marayo qalabka NeMo

Cidhif iyo gundhig ASR halkaas oo raadka yar ee QuartzNet ay ku habboon tahay aaladaha xusuusta xaddidan

Isbaarooyinka QuartzNet ee hore loo tababaray ee si fiican loo habeeyey ee erayo gaar ah oo domain ah sida ereyo caafimaad ama sharci

Falanqaynta xarunta wicitaanka oo si dhakhso leh oo kharash-ool leh u qoraya tiro badan oo maqal ah

Hababka Dhaqangelinta

Jasper iyo QuartzNet ASR ficil ahaan

Qoraal-waqtiga-dhabta ah iyo caawiyayaasha codka ayaa la geeyay NVIDIA GPU-yada iyada oo loo sii marayo qalabka NeMo.

Qoraalka-waqtiga-dhabta ah iyo kaaliyeyaasha codka ee la geeyo NVIDIA GPU-yada iyada oo loo sii marayo Kooxda Qalabka NeMo waxay badanaa helaan natiijooyin ka wanaagsan marka ay qeexaan heerarka tayada ee hore, u hayaan dariiqa kor u qaadista bini'aadamka ee kiisaska cirifka ah, oo la socdaan labadaba faa'iidooyinka wax soo saarka iyo kharashyada khaladka ah waqti ka dib.

Jasper iyo QuartzNet ASR ficil ahaan

Cidhif iyo gundhig ASR halkaas oo raadka yar ee QuartzNet ay ku habboon tahay aaladaha xusuusta xaddidan.

Edge iyo gundhig ASR halkaas oo QuartzNet raad yar oo ku habboon aaladaha xusuusta xaddidan Kooxuhu badanaa waxay helaan natiijooyin ka wanaagsan marka ay qeexaan heerarka tayada ee hore, waxay hayaan dariiqa kor u qaadista bini'aadamka ee kiisaska cirifka ah, waxayna la socdaan labadaba faa'iidooyinka wax soo saarka iyo kharashyada qaladka waqti ka dib.

Jasper iyo QuartzNet ASR ficil ahaan

Isbaarada QuartzNet ee horay loo tababaray ee si fiican loo habeeyey ee erayo gaar ah oo domain ah sida ereyo caafimaad ama sharci.

Isbaarada QuartzNet ee hore loo tababaray ee si fiican loo habeeyey sida ereyada caafimaadka ama sharciga kooxuhu waxay inta badan helaan natiijooyin ka wanaagsan marka ay qeexaan heerarka tayada ee hore, u hayaan dariiqa kor u qaadida bini'aadamka ee kiisaska cirifka ah, waxayna la socdaan labadaba faa'iidooyinka wax soo saarka iyo kharashyada qaladka waqti ka dib.

Jasper iyo QuartzNet ASR ficil ahaan

Falanqaynta xarunta wicitaanka oo si dhakhso leh oo kharash-ool leh u qoraya tiro badan oo maqal ah.

Falanqaynta xarunta wicitaanka oo si dhakhso leh oo kharash-ool leh u qoraya tiro badan oo maqal ah Kooxuhu waxay caadi ahaan helaan natiijooyin ka wanaagsan marka ay qeexaan heerarka tayada ee hore, u hayaan dariiqa kor u qaadida bini'aadamka ee kiisaska cirifka ah, waxayna la socdaan labadaba faa'iidooyinka wax soo saarka iyo kharashyada khaladka waqti ka dib.

Khatarta & Dariiqyada Ilaalada

!

Si xun u isticmaalka codka iyo khataraha is-yeelyeelku way kordhaan marka oggolaanshaha la waayo.

!

Saxnimadu waxay hoos ugu dhici kartaa lahjadaha, lahjadaha, ama jawiga buuqa badan.

!

Maqalka synthetic waxaa lagu khaldi karaa hadal dhab ah iyada oo aan si cad loo calaamadin.

Qorshe Hawleedka Dhaqangelinta

1

Hel ogolaansho cad oo ku saabsan qabashada codka, xidhitaanka, iyo dib u isticmaalka

Hel ogolaansho cad oo ku saabsan qabashada codka, xidhitaanka, iyo dib u isticmaalka Tallaabo kasta ula dhaqan sida albaabka caddaynta: haddii shuruudaha la buuxin waayo, hakad soo bixidda, xidh farqiga, ka dibna balaadhi isticmaalka.

2

Tijaabi tayada ku hadasha kala duwan iyo xaaladaha asalka.

Tijaabi tayada ku hadasha kala duwan iyo xaaladaha asalka. Tallaabo kasta ula dhaqan sida albaabka caddaynta: haddii shuruudaha la buuxin waayo, hakad soo bixidda, xidh farqiga, ka dibna balaadhi isticmaalka.

3

Qeex marka bani'aadamku ay tahay inuu dib u eego ama oggolaado wax soo saarka.

Qeex marka bani'aadamku ay tahay inuu dib u eego ama oggolaado wax soo saarka. Tallaabo kasta ula dhaqan sida albaabka caddaynta: haddii shuruudaha la buuxin waayo, hakad soo bixidda, xidh farqiga, ka dibna balaadhi isticmaalka.

4

Ku calaamadee codka synthetic oo xafid diiwaannada la-xisaabtanka.

Ku calaamadee codka synthetic oo xafid diiwaannada la-xisaabtanka. Tallaabo kasta ula dhaqan sida albaabka caddaynta: haddii shuruudaha la buuxin waayo, hakad soo bixidda, xidh farqiga, ka dibna balaadhi isticmaalka.

Sii wad Sahaminta