심층 소음 억제 과제
심층 소음 억제(DNS) 챌린지는 음성에서 배경 소음을 실시간으로 제거하는 신경망을 구축하도록 연구자들을 독려하는 Microsoft 실행 대회입니다.
개요
It set the modern benchmarks that power features like Teams and Zoom noise removal.
심층 분석
2020년 Microsoft에 의해 시작되어 몇 년 동안 반복된(종종 INTERSPEECH 및 ICASSP에서) DNS 챌린지는 팀에 깨끗한 음성, 잡음 클립 및 합성적으로 혼합된 잡음 녹음으로 구성된 대규모 표준화된 데이터 세트를 제공했습니다. 결정적으로, 평가를 PESQ와 같은 오래된 신호 수학에서 인간의 청취 점수로 전환하고 인지된 품질에 대한 예측 변수를 학습했습니다. 또한 잔향이 있는 방, 고정되지 않은 소음(타이핑, 개, 사이렌), 음조 소음, 모델이 등록된 대상 화자를 제외한 모든 사람을 억제해야 하는 개인화된 시나리오 등 어려운 실제 조건도 추가했습니다. 데이터, 기준선 및 공통 테스트 세트를 공개함으로써 실험실에서는 사과와 사과를 비교할 수 있게 되었으며 음성 향상을 위한 필터링 트릭에서 엔드투엔드 딥 러닝으로의 전환을 가속화했습니다.
기술적 통찰력
항목은 일반적으로 잡음이 있는 파형의 단시간 푸리에 변환을 시간-주파수 마스크를 예측하는 순환 또는 컨벌루션 네트워크에 공급합니다. 잡음이 많은 스펙트럼을 마스크에 곱하면 음성이 지배적인 빈을 보존하면서 잡음이 많은 빈을 감쇠시킨 다음 역 STFT가 파형을 재구성합니다. 실시간 규칙은 알고리즘 대기 시간(약 40ms)을 제한하고 인과적 처리가 필요하므로 모델은 현재 프레임을 정리할 때 향후 오디오를 엿볼 수 없습니다.
전략적 영향
접근 및 도달
전사, 내레이션, 음성 인터페이스를 통해 접근성을 향상시킵니다.
비용 및 예산
미디어 팀은 더 적은 예산으로 세련된 오디오를 더 빠르게 출시할 수 있습니다.
속도와 규모
고객 대면 시스템은 음성 상호 작용을 더 큰 규모로 처리할 수 있습니다.
심층 소음 억제 과제의 미래
프레임워크가 입술 움직임이나 화자의 성문에 따라 무엇을 유지할지 안내하는 개인화 및 다중 모드 억제로 확장될 것으로 기대합니다. 이어버드 및 보청기용 온디바이스 실행을 위해 모델이 축소되고 있으며 음악 및 고주파수를 유지하기 위해 전대역 48kHz 처리가 표준이 되고 있습니다. 단지 소음을 가리는 것보다 깨끗한 음성을 재합성하는 생성적 접근 방식은 활발하고 때로는 논란의 여지가 있는 개척지입니다.
실제 구현
Microsoft Teams 및 기타 화상 통화 앱에서 실시간 배경 소음 제거
출퇴근길이나 바쁜 카페에서 이어버드와 헤드셋으로 더 깨끗한 음성 캡처
자동 전사 또는 캡션 이전에 시끄러운 현장 녹음 전처리
보청기 및 보조 청취 장치의 명료도 향상
위험 및 가드레일
동의가 없으면 음성 오용 및 명의 도용 위험이 높아집니다.
악센트, 방언 또는 시끄러운 환경에서는 정확도가 떨어질 수 있습니다.
합성 오디오는 명확한 라벨링이 없으면 실제 음성으로 오인될 수 있습니다.
구현 로드맵
음성 캡처, 복제 및 재사용에 대한 명시적인 동의를 얻습니다.
다양한 화자와 배경 조건에서 품질을 테스트합니다.
사람이 출력을 검토하거나 승인해야 하는 시기를 정의합니다.
합성 오디오에 라벨을 붙이고 책임을 묻기 위해 출처 기록을 보관하세요.
계속 탐색하세요
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Deep Noise Suppression Challenge quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
다음 가이드
딥러닝
자주 묻는 질문
What is Deep Noise Suppression Challenge?
심층 소음 억제(DNS) 챌린지는 음성에서 배경 소음을 실시간으로 제거하는 신경망을 구축하도록 연구자들을 독려하는 Microsoft 실행 대회입니다. Teams 및 Zoom 소음 제거와 같은 기능을 강화하는 최신 벤치마크를 설정했습니다.
심층 소음 억제(DNS) 챌린지를 시작한 조직은 어디입니까?
Microsoft는 2020년에 DNS Challenge를 시작하여 INTERSPEECH 및 ICASSP와 같은 장소에서 실행했습니다.
DNS Challenge를 위해 구축된 시스템의 주요 목표는 무엇입니까?
이 과제는 말하는 사람의 목소리를 보존하면서 소음을 억제하여 실시간 음성 향상을 목표로 합니다.
실시간 DNS 처리로 인해 모델이 향후 오디오 프레임을 사용하지 못하게 되는 이유는 무엇입니까?
실시간 대화에는 인과적이고 지연 시간이 짧은 처리가 필요하므로 모델은 과거 및 현재 오디오만 사용할 수 있습니다.
DNS 항목의 일반적인 기술은 '마스크'를 예측하는 것입니다. 마스크는 어떤 역할을 하나요?
시간-주파수 마스크에 잡음이 많은 스펙트럼을 곱하여 잡음이 지배적인 빈을 억제하고 음성을 유지합니다.
DNS Challenge는 음성 향상 평가 방법을 어떻게 바꾸었나요?
신호 수학만 사용하는 대신 인간의 청취 테스트와 지각 품질 예측 변수를 학습하는 방향으로 문제가 옮겨졌습니다.