ディープノイズ抑制チャレンジ
ディープ ノイズ サプレッション (DNS) チャレンジは、Microsoft が実施するコンテストで、音声からリアルタイムで背景ノイズを除去するニューラル ネットワークの構築を研究者に促します。
概要
It set the modern benchmarks that power features like Teams and Zoom noise removal.
ディープダイブ
2020 年に Microsoft によって開始され、数年間 (多くの場合 INTERSPEECH と ICASSP で) 繰り返された DNS チャレンジは、チームにクリーンな音声、ノイズ クリップ、および合成的に混合されたノイズの多い録音の大規模な標準化されたデータセットを提供しました。重要なのは、評価を PESQ のような古い信号計算から人間のリスニング スコアに移行し、知覚品質の予測変数を学習したことです。また、残響のある部屋、非定常騒音 (タイピング、犬、サイレン)、音色ノイズ、モデルが登録されたターゲット スピーカー以外の全員を抑制する必要があるパーソナライズされたシナリオなど、現実世界の厳しい条件も追加されました。データ、ベースライン、および共通のテスト セットをリリースすることで、研究室が同一内容を比較できるようになり、音声強調のためのフィルタリング トリックからエンドツーエンドの深層学習への移行が加速されました。
技術的な洞察
通常、エントリは、ノイズの多い波形の短時間フーリエ変換を、時間周波数マスクを予測するリカレント ネットワークまたは畳み込みネットワークに供給します。マスクにノイズの多いスペクトルを乗算すると、音声が支配的なビンを維持しながらノイズが支配的なビンが減衰され、その後、逆 STFT によって波形が再構築されます。リアルタイム ルールはアルゴリズムの遅延 (約 40 ミリ秒) を制限し、因果関係の処理を必要とするため、モデルは現在のフレームをクリーンアップするときに将来のオーディオを覗くことはできません。
戦略的影響
アクセスと到達範囲
文字起こし、ナレーション、音声インターフェイスを通じてアクセシビリティを向上させます。
費用と予算
メディア チームは、より少ない予算で洗練されたオーディオをより迅速に出荷できます。
速度とスケール
顧客対応システムは、音声対話を大規模に処理できます。
ディープノイズ抑制への挑戦の未来
この枠組みは、唇の動きや話者の声紋が何を保持すべきかをガイドする、個人化された多峰性の抑制に向けて拡張されることが期待されます。イヤホンや補聴器のモデルはデバイス上で実行できるように縮小されており、フルバンド 48 kHz 処理が標準になりつつあるため、音楽と高周波が生き残ることができます。ノイズをマスキングするだけでなく、きれいな音声を再合成する生成アプローチは、活発であり、時には物議を醸すフロンティアです。
現実世界の実装
Microsoft Teams およびその他のビデオ通話アプリでのリアルタイムの背景ノイズ除去
通勤中や混雑したカフェでイヤホンやヘッドセットで音声をより鮮明にキャプチャ
自動文字起こしやキャプションの前に、騒がしいフィールド録音を前処理する
補聴器および聴取補助装置の明瞭度の向上
リスクとガードレール
同意がない場合、音声の悪用やなりすましのリスクが高まります。
アクセント、方言、または騒がしい環境では精度が低下する可能性があります。
合成音声は、明確なラベルが付けられていないと、本物の音声と間違われる可能性があります。
実装ロードマップ
音声のキャプチャ、複製、再利用については明示的な同意を取得してください。
さまざまな話者や背景条件で品質をテストします。
人間がいつ出力をレビューまたは承認する必要があるかを定義します。
合成音声にラベルを付け、出所記録を保管して説明責任を果たします。
探検を続けましょう
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Deep Noise Suppression Challenge quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
次のガイド
ディープラーニング
よくある質問
What is Deep Noise Suppression Challenge?
ディープ ノイズ サプレッション (DNS) チャレンジは、Microsoft が実施するコンテストで、音声からリアルタイムで背景ノイズを除去するニューラル ネットワークの構築を研究者に促します。これは、Teams や Zoom のノイズ除去などの機能を強化する最新のベンチマークを設定します。
Deep Noise Suppression (DNS) チャレンジを開始した組織はどこですか?
Microsoft は 2020 年に DNS チャレンジを立ち上げ、INTERSPEECH や ICASSP などの会場で実施しました。
DNS チャレンジ用に構築されたシステムの主な目標は何ですか?
この課題は、話者の音声を維持しながらノイズを抑制する、リアルタイムの音声強調を目標としています。
リアルタイム DNS 処理により、モデルが将来のオーディオ フレームを使用することが禁止されるのはなぜですか?
ライブ会話には因果関係のある低遅延の処理が必要なため、このモデルは過去と現在の音声のみを使用できます。
DNS エントリの一般的な手法は、「マスク」を予測することです。マスクは何をするのですか？
時間周波数マスクにノイズの多いスペクトルを乗算して、ノイズが支配的なビンを抑制し、音声を保持します。
DNS チャレンジにより、音声強調の評価方法はどのように変わりましたか?
課題は人間のリスニングテストに移り、信号の数学だけではなく知覚品質の予測子を学習しました。