ДалееСледующее руководство
Разделение музыкальных источников Demucs
Аудио ИИ
Аудио РУКОВОДСТВО ПО ИИ
Разделение речи и проблема коктейльной вечеринки
Разделение речи — это задача отделения отдельных голосов от записи, в которой говорят несколько человек одновременно.
Прослушайте это руководствоОзвучено ИИ · ~2 min
На этой странице2 минуты чтения
Обзор
It tackles the 'cocktail party problem' that humans solve effortlessly but machines find genuinely hard.
Глубокое погружение
На шумной вечеринке вы можете сосредоточиться на одном разговоре, отфильтровывая остальные. Эту способность психолог Колин Черри в 1953 году назвал «проблемой коктейльной вечеринки». Компьютеры испытывают затруднения, потому что перекрывающиеся голоса сливаются в единый сигнал, и система не знает заранее, сколько существует говорящих или какой звук кому принадлежит. Алгоритмы разделения речи берут этот смешанный звук и выводят отдельную чистую дорожку для каждого динамика. Ранние подходы использовали статистические методы и микрофонные решетки для использования пространственных сигналов. Прорыв произошел благодаря таким моделям глубокого обучения, как Deep Clustering и TasNet/Conv-TasNet, которые учатся маскировать или реконструировать каждый голос непосредственно по форме сигнала, даже с помощью одного микрофона.
Реальная реализация
Инструменты транскрипции собраний разделяют перекрывающихся говорящих, поэтому слова каждого человека правильно распределяются в заметках.
Усовершенствованные слуховые аппараты изолируют одного говорящего в переполненном ресторане, чтобы облегчить разговор пользователю.
При производстве музыки и подкастов разделение используется для разделения вокала и инструментов или устранения перекрестных помех между ведущими.
Конвейеры распознавания речи предварительно разделяют микшированный звук, чтобы можно было точно расшифровать каждый голос.
Будущее разделения речи и проблема коктейльных вечеринок
Разделение движется к открытым, реальным условиям: неизвестному и меняющемуся количеству говорящих, реверберирующим комнатам и непрерывному потоковому аудио. Извлечение целевого говорящего, когда вы даете модели короткий образец голоса, чтобы выделить именно этого человека, быстро растет. Комбинированные аудиовизуальные модели используют движения губ для устранения неоднозначности голосов. Ожидайте, что эти возможности будут встроены в слуховые аппараты, наушники и транскрипцию собраний, что позволит устройствам распознавать того, кого вы хотите услышать.
Применение на практике
Почему это важно
- Доступ и охват. Это улучшает доступность за счет транскрипции, повествования и голосовых интерфейсов.
- Стоимость и бюджет. Медиа-команды могут выпускать качественное аудио быстрее с меньшими бюджетами.
- Скорость и масштаб. Системы, работающие с клиентами, могут обрабатывать устные взаимодействия в большем масштабе.
Следите за
- Риски неправильного использования голоса и выдачи себя за другое лицо возрастают при отсутствии согласия.
- Точность может снижаться из-за акцентов, диалектов или шумной обстановки.
- Синтетический звук можно принять за аутентичную речь без четкой маркировки.
Следующие шаги
- Получите явное согласие на захват, клонирование и повторное использование голоса.
- Проверьте качество звука при использовании различных динамиков и фоновых условий.
- Определите, когда человек должен проверять или утверждать результаты.
- Маркируйте синтетический звук и сохраняйте записи о происхождении для обеспечения ответственности.
Продолжайте исследовать
Бесплатная рассылка
Получайте ежедневный AI-обзор
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Take the Speech Separation and the Cocktail Party Problem quiz
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
Часто задаваемые вопросы
What is Speech Separation and the Cocktail Party Problem?
Разделение речи — это задача отделения отдельных голосов от записи, в которой говорят несколько человек одновременно. Он решает «проблему коктейльной вечеринки», которую люди решают легко, но машинам действительно трудно.
Что такое «проблема коктейльной вечеринки»?
Придуманный Колином Черри в 1953 году, он описывает проблему обслуживания одного говорящего, когда много людей говорят одновременно.
Каков выходной сигнал системы разделения речи при смешанной записи нескольких говорящих?
Разделение создает один чистый поток на каждого динамика, распутывая перекрывающиеся голоса в смеси.
Чем Conv-TasNet отличается от многих более ранних методов разделения?
Conv-TasNet использует обученный кодировщик необработанного аудио, а не фиксированную спектрограмму, что обеспечивает высокоточное разделение с малой задержкой.
Как многие сети разделения выделяют отдельный голос из смеси?
Модель прогнозирует маску для каждого динамика; применение его к смеси сохраняет содержание этого говорящего и подавляет все остальное.
Что такое «извлечение целевого говорящего»?
Вместо того, чтобы разделять всех, вы предоставляете голосовую подсказку, и модель извлекает только этого целевого говорящего.
Продолжайте учиться
Связанные руководства
Другие руководства, выбранные по этой теме