Denoising ya Hotuba na RNNoise
RNNoise ni mtandao mdogo wa neva wenye kasi ambao huondoa kelele ya chinichini kutoka kwa matamshi kwa wakati halisi.
Muhtasari
Created by Xiph.Org's Jean-Marc Valin, it pairs classic signal processing with a small recurrent network so it runs on ordinary CPUs and even embedded devices.
Dive ya kina
RNNoise, iliyotolewa mwaka wa 2017, iliundwa kwa ajili ya kukandamiza kelele ya chini katika simu za sauti. Badala ya kujifunza kila kitu mwanzo-mwisho, hugawanya usemi katika takriban mikanda 22 ya masafa iliyo na muundo wa sikio la binadamu (mizani inayofanana na Gome) na hutumia mtandao wa neva unaojirudia wenye Vitengo vya Kawaida vya Gated kukadiria faida (0 hadi 1) kwa kila bendi kwa kila fremu. Mafanikio hayo hupunguza bendi zenye kelele huku yakiweka bendi zinazotawaliwa na usemi zikiwa sawa. Kichujio cha ziada cha sauti husafisha kelele iliyobaki kati ya sauti za sauti. Muundo huu wote una takribani uzani 85,000, hukimbia haraka kuliko wakati halisi kwenye msingi mmoja wa CPU, na ni chanzo wazi chini ya leseni ya BSD, ndiyo maana uliunganishwa katika miradi kama vile mfumo wa ikolojia wa Opus codec, Mumble, na OBS Studio.
Ufahamu wa Kiufundi
Chaguo kuu la muundo ni kufanya kazi kwa faida ya bendi ya utambuzi badala ya mapipa ghafi ya taswira. Kwa kutabiri thamani ~22 pekee za faida kwa kila fremu, mtandao wa GRU husalia kuwa mdogo na huepuka vizalia vya muziki vya kelele vinavyojulikana katika mbinu za zamani za kutoa taswira. Vipengele vilivyoundwa kwa mikono (nishati za bendi, muda wa sauti, uwiano wa sauti) hulisha mtandao, kuchanganya ujuzi wa DSP na kujifunza. Toleo tofauti la shughuli za sauti husaidia lango faida wakati wa fremu zenye kelele safi.
Athari za kimkakati
Kufikia na kufikia
Huboresha ufikiaji kupitia manukuu, simulizi na violesura vya sauti.
Cost and budget
Timu za media zinaweza kusafirisha sauti iliyoboreshwa haraka na bajeti ndogo.
Kasi na kiwango
Mifumo inayowakabili wateja inaweza kuchakata mwingiliano wa mazungumzo kwa kiwango kikubwa.
Mustakabali wa Kutoa Kelele kwa Hotuba na RNNoise
RNNoise iliongoza wimbi la kazi nyepesi ya uboreshaji wa wakati halisi; utafiti wake mrithi (PercepNet, DeepFilterNet) husukuma ubora wa juu zaidi huku ukiweka bajeti za CPU kuwa ndogo. Tarajia vitoa sauti kupachikwa moja kwa moja kwenye vifaa vya sauti, visaidizi vya kusikia na chipsi za mikutano, ili kuchanganya na kughairi mwangwi na kutokubalika, na kutumia malengo ya utambuzi na hata ya uzalishaji. Kichocheo cha mseto cha mtandao wa DSP-plus-small-small kinaendelea kuwa na ushawishi popote pale ambapo muda wa kusubiri kwa muda mfupi, nguvu kidogo, na utoaji wa leseni ya chanzo huria zaidi ya ukubwa wa muundo mbichi.
Utekelezaji wa Ulimwengu Halisi
Inakandamiza sauti ya kibodi na kupiga kelele wakati wa simu za video katika programu zinazojumuisha RNNoise.
Kusafisha maikrofoni ya mtiririshaji katika Studio ya OBS kupitia kichujio cha kukandamiza kelele cha RNNoise.
Kuboresha ufahamu wa gumzo la sauti katika michezo na zana za VoIP kama vile Mumble kwenye maunzi yenye nguvu kidogo.
Inachakata rekodi za sehemu zenye kelele ili utambuzi wa usemi wa chini upate ishara safi.
Hatari & Walinzi
Hatari za matumizi mabaya ya sauti na uigaji huongezeka wakati kibali kinakosekana.
Usahihi unaweza kushuka katika lafudhi, lahaja au mazingira yenye kelele.
Sauti ya syntetisk inaweza kudhaniwa kimakosa kuwa usemi halisi bila kuweka lebo wazi.
Ramani ya Utekelezaji
Pata idhini ya moja kwa moja ya kunasa sauti, kuunda na kutumia tena.
Jaribu ubora kwenye spika na hali mbalimbali za usuli.
Bainisha wakati ni lazima binadamu akague au aidhinishe matokeo.
Weka lebo sauti ya sintetiki na uhifadhi rekodi za asili kwa uwajibikaji.
Endelea Kuchunguza
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Speech Denoising with RNNoise quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Mwongozo unaofuata
Kutenganisha Hotuba na Tatizo la Cocktail Party
Maswali yanayoulizwa mara kwa mara
What is Speech Denoising with RNNoise?
RNNoise ni mtandao mdogo wa neva wenye kasi ambao huondoa kelele ya chinichini kutoka kwa matamshi kwa wakati halisi. Imeundwa na Jean-Marc Valin wa Xiph.Org, inaunganisha uchakataji wa mawimbi ya kawaida na mtandao mdogo unaorudiwa kwa hivyo hutumika kwenye CPU za kawaida na hata vifaa vilivyopachikwa.
RNNoise inatabiri nini kimsingi kwa kila fremu fupi ya sauti?
RNNoise inakadiria faida kwa kila bendi ambayo hupunguza bendi zinazotawaliwa na kelele huku ikihifadhi zinazotawaliwa na matamshi, badala ya kufanyia kazi kila pipa la spectral.
Ni aina gani ya mtandao wa neva ulio msingi wa RNNoise?
RNNoise hutumia mtandao wa neva unaojirudia rudia uliojengwa kwa Vitengo vya Kawaida vya Gated, na kuipa kumbukumbu ya muda huku ikikaa ndogo.
Kwa nini RNNoise hutumia bendi za masafa ya utambuzi badala ya mapipa mbichi ya taswira?
Kutabiri mafanikio ya bendi ~22 pekee huweka mtandao kuwa mdogo, haraka, na kuathiriwa kidogo na vizalia vya kelele za muziki ambavyo vinakumba mbinu za kila pipa.
Takriban modeli ya RNNoise ni kubwa kiasi gani?
RNNoise ina uzani 85,000, ndogo ya kutosha kukimbia haraka kuliko wakati halisi kwenye msingi mmoja wa CPU.
Je! ni jukumu gani la kichungi cha lami katika RNNoise?
Kichujio cha kuchana/kutoa sauti hutumia muundo wa sauti wa sauti ili kukandamiza kelele inayokaa kati ya sauti, inayosaidia mafanikio ya bendi.