Audio AI Itọsọna

Iyapa Ọrọ ati Amulumala Party Isoro

Iyapa ọrọ jẹ iṣẹ-ṣiṣe ti fifa awọn ohun kọọkan yatọ si igbasilẹ kan nibiti ọpọlọpọ eniyan sọrọ ni ẹẹkan.

2 min kakẹhin imudojuiwọn

Akopọ

O koju awọn 'amulumala keta isoro' ti eda eniyan yanju effortlessly ṣugbọn ero ri iwongba ti lile.

Jin Dive

Ni a alariwo keta, o le idojukọ lori ọkan ibaraẹnisọrọ nigba ti sisẹ jade awọn iyokù, ohun agbara awọn saikolojisiti Colin Cherry ti a npè ni 'cocktail party isoro' ni 1953. Kọmputa Ijakadi nitori agbekọja ohun parapo sinu kan nikan waveform, ati awọn eto ko ni mọ tẹlẹ bi ọpọlọpọ awọn agbohunsoke wa tabi eyi ti ohun je ti si ẹniti. Awọn algoridimu Iyapa Ọrọ mu ohun ti o dapọ yẹn ki o gbejade lọtọ, orin mimọ fun agbọrọsọ kọọkan. Awọn isunmọ ni kutukutu lo awọn ọna iṣiro ati awọn akojọpọ gbohungbohun lati lo nilokulo awọn aaye aaye. Aṣeyọri naa wa pẹlu awọn awoṣe ikẹkọ ti o jinlẹ bii Deep Clustering ati TasNet/Conv-TasNet, eyiti o kọ ẹkọ lati boju-boju tabi tun ohun kọọkan ṣe taara lati fọọmu igbi, paapaa pẹlu gbohungbohun ẹyọkan.

Imọ-imọ-ẹrọ

Ọpọlọpọ awọn ọna ṣiṣe n ṣiṣẹ ni agbegbe kikọ tabi spectrogram: nẹtiwọọki nkankikan ṣe iṣiro 'boju-boju' fun agbọrọsọ kọọkan ti, nigbati a ba lo si adalu, ya ohun yẹn sọtọ. Awọn awoṣe akoko-akoko bii Conv-TasNet fo spectrogram naa patapata ki o ṣiṣẹ lori awọn ayẹwo aise fun iṣootọ giga ati aipe kekere. Ipenija pataki kan ni iṣoro permutation, ṣiṣe ipinnu iru awọn maapu ikanni ti o wu jade si iru agbọrọsọ, eyiti o yanju pẹlu ikẹkọ ailẹgbẹ permutation ki awoṣe naa ko ni jiya fun pipaṣẹ iṣelọpọ.

Ipa Ilana

Wiwọle ati arọwọto

O ṣe ilọsiwaju iraye si nipasẹ transcription, alaye, ati awọn atọkun ohun.

Iye owo ati isuna

Awọn ẹgbẹ Media le firanṣẹ ohun didan yiyara pẹlu awọn isuna-owo kekere.

Iyara ati iwọn

Awọn ọna ṣiṣe ti nkọju si alabara le ṣe ilana awọn ibaraẹnisọrọ sisọ ni iwọn nla.

Ojo iwaju ti Iyapa Ọrọ ati Amulumala Party Isoro

Iyapa n lọ si ṣiṣi, awọn ipo gidi-aye: aimọ ati iyipada awọn nọmba ti awọn agbohunsoke, awọn yara ifarabalẹ, ati ohun afetigbọ ṣiṣan tẹsiwaju. Iyọkuro agbọrọsọ ibi-afẹde, nibiti o ti fun awoṣe ni apẹẹrẹ ohun kukuru lati fa eniyan naa jade, nyara ni iyara. Awọn awoṣe wiwo ohun afetigbọ ti o darapọ lo awọn agbeka ete lati da awọn ohun pada. Reti awọn agbara wọnyi ti o fi sii ninu awọn iranlọwọ igbọran, awọn agbekọri, ati iwe afọwọkọ ipade, jẹ ki awọn ẹrọ ṣe akiyesi ẹnikẹni ti o fẹ gbọ.

Real-World imuse

Awọn irinṣẹ iwe afọwọkọ ipade ya awọn agbohunsoke agbekọja sọ di mimọ awọn ọrọ eniyan kọọkan ni deede ni awọn akọsilẹ.

Awọn oluranlọwọ igbọran ti ilọsiwaju yasọ ọrọ kan sọ di mimọ ni ile ounjẹ ti o kunju lati jẹ ki ibaraẹnisọrọ rọrun fun ẹniti o wọ.

Orin ati isejade adarọ ese nlo iyapa lati pin awọn ohun orin lati awọn ohun elo tabi untangle crosstalk laarin awọn ogun.

Awọn opo gigun ti idanimọ ọrọ ṣaju ohun afetigbọ adapo lọtọ ki ohun kọọkan le ṣe kikọ ni deede.

Awọn ewu & Awọn ọna iṣọ

ilokulo ohun ati awọn ewu afarawe ṣe pọ si nigbati igbanilaaye ba sonu.

Yiye le ju silẹ kọja awọn asẹnti, awọn ede-ede, tabi awọn agbegbe alariwo.

Ohun afetigbọ sintetiki le jẹ aṣiṣe fun ọrọ ododo laisi isamisi to yege.

Ilana Ilana imuse

1

Gba ifọkansi ti o fojuhan fun gbigba ohun, ti ẹda, ati ilotunlo.

2

Didara idanwo kọja awọn agbohunsoke oniruuru ati awọn ipo abẹlẹ.

3

Ṣetumo nigbati eniyan gbọdọ ṣe atunyẹwo tabi fọwọsi awọn abajade.

4

Aami ohun sintetiki ki o tọju awọn igbasilẹ provenance fun iṣiro.

Tesiwaju Ṣiṣawari

Free newsletter

Get the daily AI briefing

Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.

One email each weekday. Unsubscribe in one click. We never sell or share your address.

Test yourself

Take the Speech Separation and the Cocktail Party Problem quiz

Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.

Bẹrẹ adanwo

Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation

Itọsọna atẹle

Demucs Orin Orisun Iyapa

Awọn ibeere ti a beere nigbagbogbo

Kini Iyapa Ọrọ ati Iṣoro Cocktail Party?

Iyapa ọrọ jẹ iṣẹ-ṣiṣe ti fifa awọn ohun kọọkan yatọ si igbasilẹ kan nibiti ọpọlọpọ eniyan sọrọ ni ẹẹkan. O koju 'iṣoro ẹgbẹ amulumala' ti eniyan yanju lainidi ṣugbọn awọn ẹrọ rii lile nitootọ.

Kini isoro keta 'amulumala party'?

Colin Cherry ni o ṣe ni 1953, o ṣapejuwe ipenija wiwa si ọdọ agbọrọsọ kan nigbati ọpọlọpọ eniyan ba sọrọ ni ẹẹkan.

Kini abajade ti eto iyapa ọrọ ti a fun ni gbigbasilẹ adalu ti ọpọlọpọ awọn agbohunsoke?

Iyapa ṣe agbejade ṣiṣan mimọ kan fun agbọrọsọ, ṣiṣi awọn ohun agbekọja ninu adalu.

Kini Conv-TasNet ṣe yatọ si ọpọlọpọ awọn ọna iyapa iṣaaju?

Conv-TasNet nlo koodu koodu ti o kọ ẹkọ lori ohun aise kuku ju spectrogram ti o wa titi, ti n mu agbara-iṣootọ ga ṣiṣẹ, ipinya-lairi kekere.

Bawo ni ọpọlọpọ awọn nẹtiwọọki ipinya ṣe yasọtọ ohun ẹni kọọkan kuro ninu adalu?

Awoṣe ṣe asọtẹlẹ iboju-boju fun agbọrọsọ; lilo rẹ si adalu ntọju akoonu agbọrọsọ naa ati ki o dinku iyokù.

Kini 'isediwon agbọrọsọ afojusun'?

Dipo ti yiya sọtọ gbogbo eniyan, o pese ifẹnukonu ohun kan ati awoṣe jade nikan ti agbọrọsọ ibi-afẹde naa.