Предизвикателство за дълбоко потискане на шума
Предизвикателството за дълбоко потискане на шума (DNS) е състезание, организирано от Microsoft, което тласка изследователите да изграждат невронни мрежи, които премахват фоновия шум от речта в реално време.
Преглед
Предизвикателството за дълбоко потискане на шума (DNS) е състезание, организирано от Microsoft, което тласка изследователите да изграждат невронни мрежи, които премахват фоновия шум от речта в реално време. Той постави съвременните стандарти, които захранват функции като Teams и премахване на шума от Zoom.
Deep Noise Suppression Challenge се намира в аудио-AI работни процеси, които трансформират реч, музика и звук за комуникация, достъпност и медийно производство.
Дълбоко гмуркане
Стартирано от Microsoft през 2020 г. и повтаряно в продължение на няколко години (често в INTERSPEECH и ICASSP), DNS Challenge даде на екипите голям, стандартизиран набор от данни за чиста реч, клипове с шум и синтетично смесени записи с шум. Най-важното е, че измести оценката от по-старата математика на сигнала като PESQ към резултатите от слушане от хора и научените предиктори на възприеманото качество. Той също така добави трудни условия в реалния свят: ревербериращи стаи, нестационарни шумове (писане, кучета, сирени), тонални шумове и персонализирани сценарии, при които моделът трябва да потисне всички, с изключение на записан целеви говорител. Чрез публикуване на данни, базови линии и общ набор от тестове, той позволи на лабораториите да сравняват ябълки с ябълки и ускори преминаването от филтриращи трикове към задълбочено обучение от край до край за подобряване на речта.
Техническа информация
Записите обикновено захранват кратковременната трансформация на Фурие на шумната форма на вълната в повтаряща се или конволюционна мрежа, която предсказва времево-честотна маска. Умножаването на маската по спектъра на шума отслабва доминираните от шум контейнери, като същевременно запазва тези, доминирани от речта, след което обратният STFT възстановява формата на вълната. Правилата в реално време ограничават латентността на алгоритмите (около 40 ms) и изискват причинно-следствена обработка, така че моделите не могат да надникнат в бъдещо аудио, когато почистват текущия кадър.
Овладяване на предизвикателството за дълбоко потискане на шума
За да изградите дълбоко разбиране, третирайте Deep Noise Suppression Challenge като оперативен модел, а не като отделна функция. Дефинирайте желаните резултати, изяснете предположенията и отделете това, което системата може да направи надеждно, от това, което все още изисква експертна преценка.
На практика силните екипи, използващи Deep Noise Suppression Challenge, третират качеството, латентността и съгласието като еднакво важни части от стратегията за внедряване. Те документират изрични критерии за успех, тестват срещу реалистични данни и работни потоци и повтарят въз основа на наблюдавани модели на неуспех, а не на еднократни победи в бенчмарка. Това е мястото, където теоретичното разбиране се превръща в трайна способност за продукти, политики и операции.
Той подобрява достъпността чрез интерфейси за транскрипция, дикторски текст и глас. В същото време рисковете от злоупотреба с глас и имитация се увеличават, когато липсва съгласие. Най-устойчивият подход е да се комбинира скоростта на експериментиране с дисциплината на управление: стартирайте пилотни проекти, събирайте доказателства, публикувайте регистрационни файлове за решения и непрекъснато актуализирайте предпазните мерки, докато поведението на модела, очакванията на потребителите и регулаторните изисквания се развиват.
Стратегическо въздействие
Той подобрява достъпността чрез интерфейси за транскрипция, дикторски текст и глас.
Той подобрява достъпността чрез интерфейси за транскрипция, дикторски текст и глас. При висококачествени внедрявания това се превръща в измерими правила за работа, граници на собствеността и повтарящи се ритуали за преглед, така че екипите да могат да мащабират доверието, вместо да мащабират неяснотата.
Медийните екипи могат да доставят изпипано аудио по-бързо с по-малки бюджети.
Медийните екипи могат да доставят изпипано аудио по-бързо с по-малки бюджети. При висококачествени внедрявания това се превръща в измерими правила за работа, граници на собствеността и повтарящи се ритуали за преглед, така че екипите да могат да мащабират доверието, вместо да мащабират неяснотата.
Системите, насочени към клиента, могат да обработват устни взаимодействия в по-голям мащаб.
Системите, насочени към клиента, могат да обработват устни взаимодействия в по-голям мащаб. При висококачествени внедрявания това се превръща в измерими правила за работа, граници на собствеността и повтарящи се ритуали за преглед, така че екипите да могат да мащабират доверието, вместо да мащабират неяснотата.
Внедряване в реалния свят
Премахване на фонов шум в реално време в Microsoft Teams и други приложения за видеоразговори
По-чисто улавяне на реч в наушници и слушалки по време на пътуване до работното място или натоварени кафенета
Предварителна обработка на полеви записи с шум преди автоматична транскрипция или надписи
Подобряване на разбираемостта на слуховите апарати и помощните устройства за слушане
Модели на изпълнение
Deep Noise Suppression Challenge на практика
Премахване на фонов шум в реално време в Microsoft Teams и други приложения за видеоразговори.
Екипите обикновено получават по-добри резултати, когато предварително определят праговете за качество, поддържат човешка ескалация за крайни случаи и проследяват както печалбите в производителността, така и разходите за грешки във времето.
Deep Noise Suppression Challenge на практика
По-чисто улавяне на реч в наушници и слушалки по време на пътуване до работното място или натоварени кафенета.
Екипите обикновено получават по-добри резултати, когато предварително определят праговете за качество, поддържат човешка ескалация за крайни случаи и проследяват както печалбите в производителността, така и разходите за грешки във времето.
Deep Noise Suppression Challenge на практика
Предварителна обработка на полеви записи с шум преди автоматична транскрипция или надписи.
Екипите обикновено получават по-добри резултати, когато предварително определят праговете за качество, поддържат човешка ескалация за крайни случаи и проследяват както печалбите в производителността, така и разходите за грешки във времето.
Deep Noise Suppression Challenge на практика
Подобряване на разбираемостта на слуховите апарати и помощните устройства за слушане.
Екипите обикновено получават по-добри резултати, когато предварително определят праговете за качество, поддържат човешка ескалация за крайни случаи и проследяват както печалбите в производителността, така и разходите за грешки във времето.
Рискове и предпазни огради
Рисковете от злоупотреба с глас и имитация се увеличават, когато липсва съгласие.
Точността може да спадне при акценти, диалекти или шумна среда.
Синтетичното аудио може да бъде сбъркано с автентична реч без ясно етикетиране.
Пътна карта за изпълнение
Получете изрично съгласие за улавяне на глас, клониране и повторно използване.
Отнасяйте се към това като към вход за доказателства: ако критериите не са изпълнени, поставете на пауза разпространението, запълнете празнината и едва след това разширете използването.
Тествайте качеството при различни високоговорители и фонови условия.
Отнасяйте се към това като към вход за доказателства: ако критериите не са изпълнени, поставете на пауза разпространението, запълнете празнината и едва след това разширете използването.
Определете кога човек трябва да прегледа или одобри резултатите.
Отнасяйте се към това като към вход за доказателства: ако критериите не са изпълнени, поставете на пауза разпространението, запълнете празнината и едва след това разширете използването.
Етикетирайте синтетичното аудио и поддържайте записи за произход за отчетност.
Отнасяйте се към това като към вход за доказателства: ако критериите не са изпълнени, поставете на пауза разпространението, запълнете празнината и едва след това разширете използването.
Продължете да изследвате
Check your understanding
Test yourself: take the Deep Noise Suppression Challenge quiz