재스퍼와 QuartzNet ASR
Jasper와 QuartzNet은 NVIDIA의 엔드투엔드 컨볼루셔널 음성 인식 모델이며, QuartzNet은 Jasper를 훨씬 더 작고 효율적으로 재설계한 모델입니다.
개요
They matter for showing how to get strong accuracy with far fewer parameters, ideal for deployment.
심층 분석
2019년 NVIDIA가 출시한 Jasper(Just Another Speech Recognizer)는 CTC 손실을 사용하여 멜 스펙트로그램 기능을 문자에 매핑하는 최대 54개 레이어의 심층 1D 컨볼루셔널 네트워크입니다. 조밀한 잔여 연결을 도입하여 경사도가 매우 깊은 스택을 통해 깔끔하게 흐르도록 했습니다. 같은 해에 출시된 QuartzNet은 Jasper의 블록 구조를 유지했지만 표준 컨볼루션을 시간 채널 분리 가능한 컨볼루션으로 대체하여 각 필터를 깊이별 시간 컨볼루션과 포인트별 채널 혼합 단계로 분할했습니다. 이 인수분해는 Librispeech의 정확도를 일치시키면서 Jasper의 약 3억 3천 3백만 개에서 약 1천 9백만 개로 매개변수를 줄였습니다. 두 가지 모두 NVIDIA의 NeMo 툴킷에 포함되어 있으며 빠른 GPU 교육 및 실시간 추론을 위해 조정되어 프로덕션 ASR의 인기 있는 구성 요소가 되었습니다.
기술적 통찰력
QuartzNet의 효율성은 MobileNet과 동일한 아이디어인 시간 채널 분리 가능한 컨볼루션에서 비롯됩니다. 일반적인 1D 컨볼루션은 시간과 채널을 함께 혼합하므로 비용은 K 곱하기 C-in 곱하기 C-out 가중치입니다. 시간에 따른 깊이별 컨볼루션과 채널에 대한 1x1 포인트별 컨볼루션으로 분리하면 매개변수가 K 곱하기 C 더하기 C-in 곱하기 C-out으로 줄어듭니다. 잔차 블록에 쌓이고 CTC로 훈련되어 모델 크기와 계산의 일부만으로 Jasper에 가까운 정확도를 제공합니다.
전략적 영향
접근 및 도달
전사, 내레이션, 음성 인터페이스를 통해 접근성을 향상시킵니다.
비용 및 예산
미디어 팀은 더 적은 예산으로 세련된 오디오를 더 빠르게 출시할 수 있습니다.
속도와 규모
고객 대면 시스템은 음성 상호 작용을 더 큰 규모로 처리할 수 있습니다.
Jasper와 QuartzNet ASR의 미래
QuartzNet의 분리 가능한 컨볼루션 계보는 NVIDIA의 Citrinet 및 널리 사용되는 Conformer 모델로 직접 이어졌습니다. Conformer 모델은 로컬 컨볼루션과 함께 글로벌 컨텍스트를 캡처하기 위해 self-attention을 추가합니다. 스트리밍을 위한 하이브리드 컨볼루션 플러스 어텐션 아키텍처 및 변환기(RNN-T) 디코더를 향한 지속적인 움직임을 기대합니다. 엣지 및 실시간 배포를 위한 매개변수 효율적인 컨볼루션이라는 핵심 교훈은 ASR이 전화, 자동차 및 임베디드 장치에 적용됨에 따라 여전히 핵심으로 남아 있습니다.
실제 구현
NeMo 툴킷을 통해 NVIDIA GPU에 배포된 실시간 전사 및 음성 도우미
QuartzNet의 작은 설치 공간이 메모리가 제한된 장치에 적합한 엣지 및 임베디드 ASR
의료 또는 법률 용어와 같은 도메인별 어휘에 대해 사전 훈련된 QuartzNet 체크포인트를 미세 조정합니다.
대량의 오디오를 빠르고 비용 효율적으로 기록하는 콜센터 분석
위험 및 가드레일
동의가 없으면 음성 오용 및 명의 도용 위험이 높아집니다.
악센트, 방언 또는 시끄러운 환경에서는 정확도가 떨어질 수 있습니다.
합성 오디오는 명확한 라벨링이 없으면 실제 음성으로 오인될 수 있습니다.
구현 로드맵
음성 캡처, 복제 및 재사용에 대한 명시적인 동의를 얻습니다.
다양한 화자와 배경 조건에서 품질을 테스트합니다.
사람이 출력을 검토하거나 승인해야 하는 시기를 정의합니다.
합성 오디오에 라벨을 붙이고 책임을 묻기 위해 출처 기록을 보관하세요.
계속 탐색하세요
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Jasper and QuartzNet ASR quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
다음 가이드
Wav2Letter 컨벌루션 ASR
자주 묻는 질문
What is Jasper and QuartzNet ASR?
Jasper와 QuartzNet은 NVIDIA의 엔드투엔드 컨볼루셔널 음성 인식 모델이며, QuartzNet은 Jasper를 훨씬 더 작고 효율적으로 재설계한 모델입니다. 배포에 이상적인 훨씬 적은 수의 매개변수로 강력한 정확성을 얻는 방법을 보여주는 데 중요합니다.
QuartzNet이 Jasper보다 훨씬 적은 수의 매개변수를 사용할 수 있게 해주는 핵심 혁신은 무엇입니까?
QuartzNet은 표준 컨볼루션을 시간 채널 분리 가능한 컨볼루션으로 대체하여 정확도를 유지하면서 매개변수 수를 대폭 줄입니다.
Jasper의 3억 3천 3백만 개에 비해 QuartzNet의 매개변수 수는 대략 몇 개입니까?
QuartzNet은 Jasper의 Librispeech 정확도와 일치하면서 약 17배 감소한 약 1,900만 개의 매개변수로 축소됩니다.
Jasper와 QuartzNet을 모두 개발한 회사는 어디입니까?
두 모델 모두 NVIDIA에서 개발했으며 NeMo 대화형 AI 툴킷을 통해 배포됩니다.
Jasper와 QuartzNet은 명시적인 정렬 없이 훈련하기 위해 어떤 손실 함수를 사용합니까?
둘 다 프레임당 레이블을 요구하지 않고 가변 길이 오디오를 문자 시퀀스에 정렬하는 CTC 손실을 사용합니다.
Jasper의 매우 깊은(최대 54개 레이어) 네트워크를 통해 그라데이션이 흐르는 데 도움이 되는 구조적 특징은 무엇입니까?
Jasper는 조밀한 잔여(건너뛰기) 연결을 사용하므로 그래디언트가 깊은 컨벌루션 스택을 통해 깔끔하게 전파됩니다.