СледваСледващо ръководство
Demucs Разделяне на музикален източник
Аудио AI
Аудио AI РЪКОВОДСТВО
Разделяне на речта и проблемът с коктейлното парти
Разделянето на речта е задача за отделяне на отделни гласове от запис, където няколко души говорят наведнъж.
Чуйте това ръководствоAI-разказан · ~2 min
На тази страница2 минути четене
Преглед
It tackles the 'cocktail party problem' that humans solve effortlessly but machines find genuinely hard.
Дълбоко гмуркане
На шумно парти можете да се съсредоточите върху един разговор, докато филтрирате останалите, способност, която психологът Колин Чери нарече „проблем с коктейлното парти“ през 1953 г. Компютрите се борят, защото припокриващите се гласове се смесват в една форма на вълната и системата не знае предварително колко високоговорители съществуват или кой звук на кого принадлежи. Алгоритмите за разделяне на речта вземат това смесено аудио и извеждат отделна, чиста песен за всеки високоговорител. Ранните подходи използват статистически методи и микрофонни масиви за използване на пространствени знаци. Пробивът дойде с модели за дълбоко обучение като Deep Clustering и TasNet/Conv-TasNet, които се научават да маскират или реконструират всеки глас директно от формата на вълната, дори с един микрофон.
Внедряване в реалния свят
Инструментите за транскрипция на срещи разделят припокриващите се говорители, така че думите на всеки човек да се приписват правилно в бележките.
Усъвършенстваните слухови апарати изолират един говорещ в претъпкан ресторант, за да улеснят разговора за този, който ги носи.
Производството на музика и подкасти използва разделяне, за да раздели вокалите от инструментите или да разплита кръстосаните разговори между хостовете.
Тръбопроводите за разпознаване на реч предварително разделят смесеното аудио, така че всеки глас да може да бъде транскрибиран точно.
Бъдещето на разделянето на речта и проблемът с коктейлното парти
Разделянето се движи към отворени условия в реалния свят: неизвестен и променящ се брой високоговорители, ревербериращи стаи и непрекъснато поточно аудио. Извличането на целеви говорител, при което давате на модела кратък гласов образец, за да извлечете само този човек, нараства бързо. Комбинираните аудио-визуални модели използват движения на устните, за да разграничат гласовете. Очаквайте тези възможности, вградени в слухови апарати, слушалки и транскрипция на срещи, позволявайки на устройствата да насочат вниманието към когото искате да чуете.
Прилагайки го на практика
Защо има значение
- Достъп и обхват. Той подобрява достъпността чрез интерфейси за транскрипция, дикторски текст и глас.
- Разходи и бюджет. Медийните екипи могат да доставят изпипано аудио по-бързо с по-малки бюджети.
- Скорост и мащаб. Системите, насочени към клиента, могат да обработват устни взаимодействия в по-голям мащаб.
Внимавайте за
- Рисковете от злоупотреба с глас и имитация се увеличават, когато липсва съгласие.
- Точността може да спадне при акценти, диалекти или шумна среда.
- Синтетичното аудио може да бъде сбъркано с автентична реч без ясно етикетиране.
Следващи стъпки
- Получете изрично съгласие за улавяне на глас, клониране и повторно използване.
- Тествайте качеството при различни високоговорители и фонови условия.
- Определете кога човек трябва да прегледа или одобри резултатите.
- Етикетирайте синтетичното аудио и поддържайте записи за произход за отчетност.
Продължете да изследвате
Безплатен бюлетин
Получавайте дневния AI бюлетин
Три проверени AI истории всяка делнична сутрин, написани на достъпен език. Безплатно завинаги, без реклами.
Един имейл всеки делничен ден. Отписване с едно кликване. Никога не продаваме и не споделяме вашия имейл адрес.
Тествайте себе си
Take the Speech Separation and the Cocktail Party Problem quiz
Незабавна обратна връзка за всеки отговор и сертификат за споделяне с подлежащ на проверка идентификационен номер, след като преминете курс.
Подкрепете безплатното AI образование. AI Understanding е 501(c)(3) с нестопанска цел — без реклами, без платен достъп, никога. Направете дарение
Често задавани въпроси
What is Speech Separation and the Cocktail Party Problem?
Разделянето на речта е задача за отделяне на отделни гласове от запис, където няколко души говорят наведнъж. Той се справя с „проблема с коктейлното парти“, който хората решават без усилие, но машините намират за наистина труден.
Какъв е „проблемът с коктейлното парти“?
Създаден от Колин Чери през 1953 г., той описва предизвикателството да присъстваш на един говорител, когато много хора говорят наведнъж.
Какъв е резултатът от система за разделяне на говор при смесен запис на няколко високоговорителя?
Разделянето произвежда един чист поток на високоговорител, разплитайки припокриващите се гласове в сместа.
Какво прави Conv-TasNet по-различно от много по-ранни методи за разделяне?
Conv-TasNet използва научен енкодер върху необработено аудио, а не фиксирана спектрограма, което позволява разделяне с висока точност и ниска латентност.
Как много мрежи за разделяне изолират индивидуален глас от сместа?
Моделът предвижда маска на говорител; прилагането му към сместа запазва съдържанието на този говорител и потиска останалото.
Какво е „извличане на целеви говорител“?
Вместо да разделяте всички, вие предоставяте гласова реплика и моделът извлича само този целеви говорител.
Продължавай да учиш
Свързани ръководства
Още ръководства, избрани за тази тема