Overview
Kupatsanura kwekutaura ibasa rekukwevera manzwi ega ega kubva kurekodhwa uko vanhu vakati wandei vanotaura kamwechete. Inogadzirisa dambudziko re "cocktail party" iro vanhu vanogadzirisa pasina simba asi michina inowana zvakaoma chaizvo.
Kuparadzaniswa Kwekutaura uye Cocktail Party Dambudziko rinogara muodhiyo-AI workflows inoshandura kutaura, mimhanzi, uye ruzha rwekutaurirana, kuwanikwa, uye kugadzirwa kwenhau.
Deep Dive
Pamabiko ane ruzha, unogona kunangidzira ngwariro pakurukurirano imwe chete uchisefa imwe yasara, unyanzvi hwenyanzvi yepfungwa Colin Cherry akatumidza zita rokuti 'cocktail party problem' muna 1953. Makombiyuta anonetseka nokuti manzwi anopindirana anopindirana kuva chimiro chimwe chete, uye hurongwa hahuzivi pachine nguva kuti vangani vatauri varipo kana kuti inzwi ripi nderaani. Matauriro ekuparadzanisa algorithms anotora iyo yakasanganiswa odhiyo uye inoburitsa yakaparadzana, yakachena track yemutauri wega wega. Maitiro ekutanga akashandisa nzira dzechiverengero uye maikorofoni arrays kushandisa zvimiro zvenzvimbo. Kubudirira uku kwakauya nemhando dzekudzidza dzakadzama senge Deep Clustering uye TasNet/Conv-TasNet, iyo inodzidza kumaka kana kuvakazve izwi rega rega rakananga kubva kune waveform, kunyangwe ine maikorofoni imwe chete.
Technical Insight
Mazhinji masisitimu anoshanda mune yakadzidzwa kana spectrogram domain: neural network inofungidzira 'mask' yemutauri wega wega iyo, kana ikaiswa kumusanganiswa, inoparadzanisa izwi iro. Nguva-domain modhi seConv-TasNet svetuka iyo spectrogram zvachose uye shanda pamasamples akaomeswa ekutendeseka kwepamusoro uye yakaderera latency. Dambudziko guru idambudziko rekubvumidza, kusarudza kuti ndeapi mamepu echiteshi kune mutauri, izvo zvinogadziriswa nekubvumidzwa kusingachinji kudzidziswa kuitira kuti modhi isapihwe chirango chekuraira kuburitsa.
Kubata Kuparadzaniswa Kwekutaura uye Dambudziko reCocktail Party
Kupatsanura kwekutaura ibasa rekukwevera manzwi ega ega kubva kurekodhwa uko vanhu vakati wandei vanotaura kamwechete. Inogadzirisa dambudziko re "cocktail party" iro vanhu vanogadzirisa pasina simba asi michina inowana zvakaoma chaizvo. Kuparadzaniswa Kwekutaura uye Cocktail Party Dambudziko rinogara muodhiyo-AI workflows inoshandura kutaura, mimhanzi, uye ruzha rwekutaurirana, kuwanikwa, uye kugadzirwa kwenhau. Kuvaka kunzwisisa kwakadzama, kubata Kupatsanurwa Kwekutaura uye Cocktail Party Dambudziko semuenzaniso wekushandisa, kwete chinhu chimwe chete: tsanangura zvinodikanwa, kujekesa fungidziro, uye patsanura izvo hurongwa hunogona kuita zvakavimbika kubva kune izvo zvichiri kuda kutonga kwenyanzvi.
Mukuita, zvikwata zvakasimba zvinoshandisa Kupatsanurwa Kwekutaura uye Cocktail Party Dambudziko rinobata mhando, latency, uye mvumo sezvikamu zvakakosha zvakaenzana zvehurongwa hwekutumira. Ivo vanonyora zvakajeka maitiro ebudiriro, bvunzo vachipokana ne data rechokwadi uye mafambiro ebasa, uye iterate zvichibva pane zvakacherechedzwa maitiro ekutadza kwete kuhwina-nguva imwe chete yebhenji. Apa ndipo apo kunzwisisa kwe theoretical kunoshanduka kuve kugona kwakasimba pane chigadzirwa, mutemo, uye mashandiro.
Inonatsiridza kusvikika kuburikidza nekunyora, kurondedzera, uye mazwi ekubatanidza. Panguva imwecheteyo, kusashandiswa kweIzwi zvisizvo uye njodzi dzekuedzesera dzinowedzera kana chibvumirano chisipo. Nzira yakatsiga ndeyekubatanidza kukurumidza kuyedza nekutonga: mhanyisa vatyairi vendege, tora humbowo, buritsa matanda esarudzo, uye urambe uchivandudza chengetedzo semaitiro emuenzaniso, zvinotarisirwa nemushandisi, uye zvinodikanwa zvekutonga.
Strategic Impact
Inonatsiridza kusvikika kuburikidza nekunyora, kurondedzera, uye mazwi ekubatanidza.
Inonatsiridza kusvikika kuburikidza nekunyora, kurondedzera, uye mazwi ekubatanidza. Mukutumirwa kwemhando yepamusoro, izvi zvinoshandurirwa kuita mitemo inoyerwa yekushanda, miganhu yevaridzi, uye tsika dzekudzokorora dzinodzokororwa kuitira kuti zvikwata zvikwire kuvimba pane kukwidza kusajeka.
Zvikwata zveMedia zvinogona kutumira odhiyo yakakwenenzverwa nekukurumidza nemabhajeti madiki.
Zvikwata zveMedia zvinogona kutumira odhiyo yakakwenenzverwa nekukurumidza nemabhajeti madiki. Mukutumirwa kwemhando yepamusoro, izvi zvinoshandurirwa kuita mitemo inoyerwa yekushanda, miganhu yevaridzi, uye tsika dzekudzokorora dzinodzokororwa kuitira kuti zvikwata zvikwire kuvimba pane kukwidza kusajeka.
Masisitimu anotarisana nevatengi anogona kugadzirisa kutaurirana kwekutaura pamwero mukuru.
Masisitimu anotarisana nevatengi anogona kugadzirisa kutaurirana kwekutaura pamwero mukuru. Mukutumirwa kwemhando yepamusoro, izvi zvinoshandurirwa kuita mitemo inoyerwa yekushanda, miganhu yevaridzi, uye tsika dzekudzokorora dzinodzokororwa kuitira kuti zvikwata zvikwire kuvimba pane kukwidza kusajeka.
Real-World Implementation
Maturusi emusangano ekutepfenyura anopatsanura vatauri vanopindirana kuitira kuti mazwi emunhu ega-ega aonekwe nemazvo mumanotsi.
Zviyamuro zvekunzwa zvemberi zvinoparadzanisa mumwe mutauri muresitorendi yakazara vanhu kuti kutaura kuve nyore kune akaripfeka.
Mimhanzi uye podcast kugadzira kunoshandisa kupatsanura kupatsanura mazwi kubva kune zviridzwa kana kusunungura crosstalk pakati pevatambi.
Mapaipi ekuzivikanwa kwekutaura akafanopatsanura akasanganiswa odhiyo kuitira kuti izwi rega rega rinyorwe nemazvo.
Maitiro Ekuita
Kuparadzaniswa Kwekutaura uye Dambudziko reCocktail Party mukuita
Maturusi emusangano ekutepfenyura anopatsanura vatauri vanopindirana kuitira kuti mazwi emunhu ega-ega aonekwe nemazvo mumanotsi.
Maturusi emusangano ekunyora anopatsanura vatauri vanopindirana kuitira kuti mazwi emunhu ega ega aonekwe nenzira kwayo mumanotsi Matimu anowanzo kuwana mhedzisiro iri nani kana achinge atsanangura zvikumbaridzo zvemhando yepamusoro, chengetedza nzira yekukwira kwevanhu yemakesi emupendero, uye kuteedzera zvese zvakawanikwa zvechigadzirwa nemitengo yekukanganisa nekufamba kwenguva.
Kuparadzaniswa Kwekutaura uye Dambudziko reCocktail Party mukuita
Zviyamuro zvekunzwa zvemberi zvinoparadzanisa mumwe mutauri muresitorendi yakazara vanhu kuti kutaura kuve nyore kune akaripfeka.
Zvishandiso zvekunzwa zvepamberi zvinoparadzanisa mutauri muresitorendi yakazara vanhu kuti kutaura kuve nyore kune vanopfeka Matimu anowanzo kuwana mhedzisiro iri nani kana achinge atsanangura mabindu emhando kumberi, chengetedza nzira yekukwira kwevanhu yemakesi emupendero, uye kuteedzera zvese zvakawanikwa zvechigadzirwa nemitengo yekukanganisa nekufamba kwenguva.
Kuparadzaniswa Kwekutaura uye Dambudziko reCocktail Party mukuita
Mimhanzi uye podcast kugadzira kunoshandisa kupatsanura kupatsanura mazwi kubva kune zviridzwa kana kusunungura crosstalk pakati pevatambi.
Mimhanzi uye podcast kugadzira kunoshandisa kupatsanura kupatsanura mazwi kubva kune zviridzwa kana kusunungura crosstalk pakati pevatambi Matimu anowanzo kuwana mhedzisiro iri nani kana achinge atsanangura emhando yepamusoro kumberi, chengetedza nzira yekukwira kwevanhu yemakesi emupendero, uye kuteedzera zvese zvakawanikwa zvechigadzirwa nemitengo yekukanganisa nekufamba kwenguva.
Kuparadzaniswa Kwekutaura uye Dambudziko reCocktail Party mukuita
Mapaipi ekuzivikanwa kwekutaura akafanopatsanura akasanganiswa odhiyo kuitira kuti izwi rega rega rinyorwe nemazvo.
Mapaipi ekucherechedzwa kwekutaura anofanopatsanura akasanganiswa odhiyo kuitira kuti izwi rega rega rinyorwe nenzira kwayo Matimu anowanzo kuwana mibairo iri nani kana achinge atsanangura hunhu hwepamberi, chengetedza nzira yekukwira kwevanhu yemakesi emupendero, uye kuteedzera zvese zvakawanikwa mukubereka uye mutengo wekukanganisa nekufamba kwenguva.
Njodzi & Guardrails
Kusashandisa izwi zvisizvo uye njodzi dzekuedzesera dzinowedzera kana chibvumirano chisipo.
Kururama kunogona kudonha mumitauro, mataurirwo, kana nharaunda dzine ruzha.
Synthetic audio inogona kukanganisa kutaura kwechokwadi isina mavara akajeka.
Implementation Roadmap
Wana mvumo yakajeka yekutora inzwi, kugadzira, uye kushandisa zvakare.
Wana mvumo yakajeka yekutora inzwi, kugadzira, uye kushandisa zvakare. Bata nhanho yega yega segedhi rehumbowo: kana maitiro asina kusangana, imbomira kuburitsa, vhara gaka, uye wobva wawedzera kushandiswa.
Yedza mhando pavatauri vakasiyana uye mamiriro ekumashure.
Yedza mhando pavatauri vakasiyana uye mamiriro ekumashure. Bata nhanho yega yega segedhi rehumbowo: kana maitiro asina kusangana, imbomira kuburitsa, vhara gaka, uye wobva wawedzera kushandiswa.
Tsanangura apo munhu anofanira kuongorora kana kubvumidza zvabuda.
Tsanangura apo munhu anofanira kuongorora kana kubvumidza zvabuda. Bata nhanho yega yega segedhi rehumbowo: kana maitiro asina kusangana, imbomira kuburitsa, vhara gaka, uye wobva wawedzera kushandiswa.
Label synthetic odhiyo uye chengetedza marekodhi ekuzvidavirira.
Label synthetic odhiyo uye chengetedza marekodhi ekuzvidavirira. Bata nhanho yega yega segedhi rehumbowo: kana maitiro asina kusangana, imbomira kuburitsa, vhara gaka, uye wobva wawedzera kushandiswa.