Audio AI Itọsọna

Jasper ati QuartzNet ASR

Jasper ati QuartzNet jẹ awọn awoṣe idanimọ ọrọ-ọrọ convolutional ipari-si-opin ti NVIDIA, pẹlu QuartzNet ti o kere pupọ, atunkọ daradara ti Jasper.

2 min kakẹhin imudojuiwọn

Akopọ

Wọn ṣe pataki fun fifihan bi o ṣe le gba deede to lagbara pẹlu awọn paramita ti o kere pupọ, apẹrẹ fun gbigbe.

Jin Dive

Jasper (O kan Oludamọ Ọrọ Ọrọ miiran), ti a tu silẹ nipasẹ NVIDIA ni ọdun 2019, jẹ nẹtiwọọki convolutional 1D ti o jinlẹ, to awọn fẹlẹfẹlẹ 54, ti o ṣe awọn ẹya mel-spectrogram si awọn kikọ ni lilo ipadanu CTC. O ṣe afihan awọn asopọ isale ipon nitorina awọn gradients nṣan ni mimọ nipasẹ awọn akopọ ti o jinlẹ pupọ. QuartzNet, ti a tu silẹ ni ọdun kanna, tọju eto bulọọki Jasper ṣugbọn rọpo awọn iyipada boṣewa pẹlu awọn iyipada akoko-ikanni ti o ya sọtọ, pipin àlẹmọ kọọkan sinu isọdọtun igba diẹ ti o jinlẹ ati igbesẹ idapọmọra ikanni ọgbọn. Isọdi-sọtọ yii dinku awọn aye lati Jasper ni aijọju miliọnu 333 si ayika miliọnu 19 lakoko ti o baamu deede lori Librispeech. Awọn ọkọ oju omi mejeeji ni ohun elo irinṣẹ NeMo ti NVIDIA ati pe wọn wa ni aifwy fun ikẹkọ GPU iyara ati itọkasi akoko gidi, ṣiṣe wọn ni awọn bulọọki ile olokiki fun iṣelọpọ ASR.

Imọ-imọ-ẹrọ

Iṣiṣẹ QuartzNet wa lati awọn iyipada iyapa ikanni akoko, imọran kanna lẹhin MobileNet. Iyipada 1D deede kan dapọ akoko ati awọn ikanni papọ, idiyele K awọn akoko C-ni awọn iwọn C-jade. Iyapa rẹ sinu iyipada ti o jinlẹ lori akoko pẹlu 1x1 convolutionwise pointwise lori awọn ikanni dinku awọn aye si K igba C pẹlu awọn akoko C-in C-out. Tolera ni awọn bulọọki iyokù ati ikẹkọ pẹlu CTC, eyi funni ni deede-Jasper ni ida kan ti iwọn awoṣe ati iṣiro.

Ipa Ilana

Wiwọle ati arọwọto

O ṣe ilọsiwaju iraye si nipasẹ transcription, alaye, ati awọn atọkun ohun.

Iye owo ati isuna

Awọn ẹgbẹ Media le firanṣẹ ohun didan yiyara pẹlu awọn isuna-owo kekere.

Iyara ati iwọn

Awọn ọna ṣiṣe ti nkọju si alabara le ṣe ilana awọn ibaraẹnisọrọ sisọ ni iwọn nla.

Ojo iwaju ti Jasper ati QuartzNet ASR

Laini iyasọtọ-convolution QuartzNet yori taara si NVIDIA's Citrinet ati awọn awoṣe Conformer ti a lo lọpọlọpọ, eyiti o ṣafikun akiyesi ara ẹni lati mu ipo agbaye lẹgbẹẹ awọn iyipada agbegbe. Reti lilọsiwaju ti nlọ si ọna iṣọpọ arabara-plus-ifojusi faaji ati awọn oluyipada (RNN-T) decoders fun ṣiṣanwọle. Ẹkọ akọkọ, awọn iyipada-daradara paramita fun eti ati imuṣiṣẹ akoko gidi, wa ni aarin bi ASR ti n titari sori awọn foonu, awọn ọkọ ayọkẹlẹ, ati awọn ẹrọ ifibọ.

Real-World imuse

Igbasilẹ akoko gidi ati awọn oluranlọwọ ohun ransogun lori NVIDIA GPUs nipasẹ ohun elo irinṣẹ NeMo

Eti ati ifibọ ASR nibiti ifẹsẹtẹ kekere ti QuartzNet baamu awọn ẹrọ ti o ni iranti

Awọn aaye ayẹwo QuartzNet ti a ti kọkọ ti o dara fun awọn iwe-ọrọ kan pato-ašẹ gẹgẹbi iṣoogun tabi awọn ofin ofin

Awọn atupale aarin ipe ti n ṣe iyipada awọn iwọn didun ohun ti o tobi ni iyara ati idiyele-doko

Awọn ewu & Awọn ọna iṣọ

ilokulo ohun ati awọn ewu afarawe ṣe pọ si nigbati igbanilaaye ba sonu.

Yiye le ju silẹ kọja awọn asẹnti, awọn ede-ede, tabi awọn agbegbe alariwo.

Ohun afetigbọ sintetiki le jẹ aṣiṣe fun ọrọ ododo laisi isamisi to yege.

Ilana Ilana imuse

1

Gba ifọkansi ti o fojuhan fun gbigba ohun, ti ẹda, ati ilotunlo.

2

Didara idanwo kọja awọn agbohunsoke oniruuru ati awọn ipo abẹlẹ.

3

Ṣetumo nigbati eniyan gbọdọ ṣe atunyẹwo tabi fọwọsi awọn abajade.

4

Aami ohun sintetiki ki o tọju awọn igbasilẹ provenance fun iṣiro.

Tesiwaju Ṣiṣawari

Free newsletter

Get the daily AI briefing

Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.

One email each weekday. Unsubscribe in one click. We never sell or share your address.

Test yourself

Take the Jasper and QuartzNet ASR quiz

Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.

Bẹrẹ adanwo

Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation

Itọsọna atẹle

Wav2Letter Convolutional ASR

Awọn ibeere ti a beere nigbagbogbo

Kini Jasper ati QuartzNet ASR?

Jasper ati QuartzNet jẹ awọn awoṣe idanimọ ọrọ-ọrọ convolutional ipari-si-opin ti NVIDIA, pẹlu QuartzNet ti o kere pupọ, atunkọ daradara ti Jasper. Wọn ṣe pataki fun iṣafihan bi o ṣe le ni deede to lagbara pẹlu awọn aye ti o kere pupọ, o dara fun imuṣiṣẹ.

Ilọtuntun bọtini wo ni o jẹ ki QuartzNet lo awọn aye ti o kere ju Jasper lọ?

QuartzNet rọpo awọn iyipada boṣewa pẹlu awọn iyipada akoko-ikanni ti o ya sọtọ, gige kika paramita pupọ lakoko titọju deede.

O fẹrẹ to awọn aye-aye melo ni QuartzNet ti ṣe afiwe si ~ 333 million Jasper?

QuartzNet dinku si aijọju miliọnu 19, nipa idinku 17x kan, lakoko ti o baamu deede Jasper's Librispeech.

Ile-iṣẹ wo ni idagbasoke mejeeji Jasper ati QuartzNet?

Awọn awoṣe mejeeji ni idagbasoke nipasẹ NVIDIA ati pe wọn pin kaakiri nipasẹ ohun elo irinṣẹ NeMo ibaraẹnisọrọ AI.

Iṣẹ ipadanu wo ni Jasper ati QuartzNet lo lati ṣe ikẹkọ laisi awọn tito lẹsẹsẹ?

Mejeeji lo ipadanu CTC, eyiti o ṣe deede ohun afetigbọ-ipari si awọn ilana ihuwasi laisi nilo awọn aami-fireemu kọọkan.

Ẹya igbekale wo ni o ṣe iranlọwọ fun awọn gradients lati ṣan nipasẹ Jasper jinle pupọ (to 54-Layer) nẹtiwọki?

Jasper nlo awọn isopo ti o ku (foo) ki awọn gradients tan kaakiri ni mimọ nipasẹ akopọ ariyanjiyan ti o jinlẹ.