Takarda ta ba da rahoton ba a sami fa'idar kwafin da za a iya ganowa daga mahallin gaggawa a gwajin samarwa

Me ya faru

Masu bincike sun gwada ko samar da takamaiman mahallin yanki a cikin gaggawa zai iya inganta rubutun magana na AI. Sun sake yin ɓangarorin kaset 19, jimlar kusan awanni 10.6 na ƙasƙantar da sauti na 1970-80s, ta hanyar lambar samarwa ta amfani da gpt-4o-fassara da gemini-2.5-flash a ƙarƙashin yanayin gaggawa uku. Don gpt-4o-fassara, bambance-bambancen tsaka-tsakin da aka haɗa tsakanin cikakken yanayi da yanayin yanayi shine haɓakar maki 0.6 WER, tare da tazarar da aka sake daidaitawa daga -1.1 zuwa +1.0. Sakamako na Gemini ba su da ƙarfi sosai don kwatankwacin ra'ayi mara kyau.

Takardar ta yi nazarin ƙayyadaddun ƙayyadaddun tsarin AI: saurin yanayin kwafin magana. Jigon sa shine samar da mahallin a lokacin ƙididdigewa zai iya daidaita babban ƙirar multimodal zuwa yanki ba tare da sake horar da ƙirar ba. Sakamakon farko kan ƙananan ƙira ya ba da rahoton babban riba, a cewar takardar. Marubutan sun gwada wannan ra'ayin a cikin samar da kayan aikin rubutun-ba-da-ba-da-ba-da-ba-da-ba-da-ba-da-ba-da-ba-da-ba-da-ba-da-ba-da-ba-da-ba-da-ba-da-ba-da-ba-da-ba-ba-ba-ba-ba-ba-bayan-bayan-bayan-bayan-bayan-bayan-kayan-kayan-kayan-bayan-kayan-kayan-bayan-bayan-bayan-bayan-bayan-bayan-bayan-bayan-bayan-bayan-bayan-bayan-bayan-ba-bayan-ba-shigin-shigi-shigimamaimaimaimaimaimaimaimaimaimaimaimaimaimaimaimaimaimaikawakawa-natifuna-yanzune. Majiyar ta bayyana aikin a matsayin ƙaddamarwa da aka riga aka yi rajista kuma ta ce lambar bincike ta daskare ta hanyar zanta kafin a sami maki mai tabbatarwa.

Gwajin ya yi amfani da ƙira mai haɗaɗɗiyar abu a ciki. Bangarorin kaset goma sha tara masu ɗauke da kusan sa'o'i 10.6 na ƙasƙantar sautin hira daga 1970s da 1980s an sarrafa su ta hanyar tsarin samarwa. An kimanta kowane abu a ƙarƙashin makamai masu sauri guda uku da ƙa'idodin kasuwanci biyu da aka tura: gpt-4o-transcribing da gemini-2.5-flash. An ƙididdige abin da aka fitar a kan nassoshi na zahiri da aka gyara na mai aiki. Majiyar ta ce binciken ya gwada hasashe hudu da aka riga aka yi rajista kuma babu wanda ya goyi bayan. Bangarorin matukin jirgi guda biyu da aka bayyana gpt-4o an zira kwallaye a baya yayin ci gaban mai zura kwallaye, tsarin daki-daki da marubutan suka bayar da rahoton tare da yin rajista da daskararrun da'awar.

Mafi bayyanan sakamako na lamba ya fito daga gpt-4o-transcribing. Bambancin tsaka-tsakin da aka haɗe tsakanin cikakken yanayi da makamai ba tare da mahalli ba ya kasance tare da maki 0.6-kuskure-kuskure, kuma tazarar da aka sake daidaitawa ta gudana daga rabe 1.1 zuwa ƙari 1.0. Saboda tazarar ta zarce dukkan hanyoyin da za a iya yiwuwa kuma yana kusa da sifili, majiyar ta bayyana sakamakon a matsayin babu wani canji da za a iya ganowa maimakon shaida cewa mahallin ba shi da wani tasiri. Ƙididdiga na Gemini ba su da ƙarfi sosai don tallafawa wannan ra'ayi mara kyau. Sake sake yin aiki bayan hoc ya kara gano cewa canjin bututun mai gudu-zuwa ya fi girma fiye da bambance-bambancen tabbatarwa, ma'ana kwafi ɗaya a kowane tantanin gwaji ba zai iya warware tasirin wannan girman ba.

Bayanan tushe: arxiv.org ↗

Me ya sa yake da mahimmanci

Sakamakon ya ƙalubalanci zato cewa ƙara ƙarin mahallin gaggawa hanya ce mai arha, abin dogaro don daidaita ƙirar magana zuwa yankuna na musamman. Hakanan yana nuna dalilin da yasa jimlar kuskuren kalmar ƙila ba ta isa ba: binciken ya sami ɗan ƙaramin ci gaba akan jimlolin da aka jera a cikin mahallin, amma ga Gemini waɗanda suka kasance tare da kurakurai mafi muni akan alamun da ba a lissafa ba.

Ma'anar aiki ta fi kunkuntar kuma ta fi fa'ida fiye da da'awar gaba ɗaya wanda tsokaci baya taimakawa ƙirar magana. A cikin wannan saitin samarwa, cikakken mahallin matakin gaggawa bai samar da ci gaba da za a iya ganowa ba a babban ma'aunin daidaiton matakin gefe. Wannan yana da mahimmanci ga ƙungiyoyin da ke daidaita tsarin rubutun zuwa ɗakunan ajiya na musamman, saboda aikin gaggawa na iya cinye lokaci kuma ya haifar da tsammanin ci gaba ko da lokacin fitowar-zuwa-ƙarshen ba ta canzawa ta zahiri. Madogararsa ba ta tabbatar da cewa mahallin gaggawa ba shi da amfani a duk ayyukan gane magana; yana kafa rashin ganowa a ƙarƙashin yanayin da aka gwada.

Har ila yau binciken ya fallasa matsalar aunawa. Matakin gefe WER yana danne nau'ikan kurakurai zuwa lamba guda ɗaya. Binciken jeri-jeri na marubutan ya sami ɗan ƙaramin ci gaba a kan cikakkun jimlolin da suka bayyana a cikin mahallin da aka kawo. Wannan haɓaka ya yi ƙanƙanta sosai don canza matakin WER a zahiri. Don Gemini, haɓaka matakin jimla ya kasance tare da kuskuren kuskure akan alamun da ba a jera su a cikin mahallin ba. Sakamakon gabaɗaya ɗaya zai iya ɓoye ɓarna tsakanin sanin sharuɗɗan da aka yi niyya da kiyaye daidaito a wani wuri.

Wannan taka tsantsan ne mai amfani don kimanta tsarin AI a cikin ɗakunan ajiya da sauran saitunan magana na musamman. Sassan mahallin na iya inganta kunkuntar nau'in sunaye, jimloli, ko sharuddan fasaha ba tare da inganta cikakken kwafin ba, ko kuma yana iya canza kurakurai daga ƙamus ɗin da aka yi niyya zuwa abu a waje da lissafin da aka kawo. Don haka takardar ta yi gardama kan matakan daidaita daidaitattun matakan matakan lokaci, ƙididdige ƙididdigewa, da matakan lakabin lasifika tare da jimlar daidaito. Waɗannan matakan za su iya taimaka wa masu aiki su tantance ko canji ya inganta kurakuran da ke da mahimmanci ga ƙungiyar su ta musamman, koda kuwa gabaɗaya WER ta kasance da gaske ba ta canzawa.

Abin kallo na gaba

Babban buɗaɗɗen tambayar shine ko sakamakon ya ƙare sama da wannan ƙungiyar, waɗannan ƙa'idodi guda biyu da aka tura, da kuma ƙirar ƙira da aka gwada. Ya kamata ƙarin aiki ya gwada ƙarin sauti, maimaita gudu, ƙarin samfura, da matakan matakan-jeri kamar daidaiton kalma, shigarwa, da kurakuran lakabin lasifika.

Batu na farko da za a kallo shine maimaitawa. Gwajin ya shafi bangarorin kaset 19 da kuma tarihin baka guda daya wanda ya kunshi gurbataccen sautin hira daga 1970s da 1980s. Majiyar ba ta ce gawar tana wakiltar magana ta zamani ba, wasu tarin tarin kayan tarihi, mafi tsaftataccen rikodi, wasu harsuna, ko wasu abubuwan da suka dace da yanki. Sakamako daga wannan samfurin ya kamata a kula da su azaman shaida game da gwajin aikin samarwa, ba a matsayin iyaka na duniya akan daidaitawa da sauri ba.

Batu na biyu shine ƙudurin ƙididdiga. Takardar ta ba da rahoton cewa kiyasi na Gemini sun kasance marasa ƙarfi sosai don kwatankwacin ra'ayi mara kyau kuma cewa sake yin aiki bayan hoc ya sami canjin bututun mai girma fiye da bambance-bambancen tabbatarwa. Wannan yana buɗe yiwuwar ƙananan tasirin da ƙirar ba ta iya warwarewa ba. Majiyar ta ce ba za a iya warware tasirin wannan girman daga kwafi ɗaya a kowane tantanin halitta ba. Maimaita gudu, samfurori mafi girma, da ƙididdige ƙididdiga don bambance-bambancen stochastic za a buƙaci don bambance wani tasiri mai ma'ana daga tasirin ƙarami fiye da yadda aikin aiki zai iya ganowa.

Hakanan yakamata kimantawa na gaba su bi nau'ikan kurakuran da marubutan suka gano. Bibiya mai fa'ida zai kwatanta daidaiton jumlar da aka yi niyya, kurakuran da ba a jera su ba, sakawa, da aikin alamar lasifika a cikin maimaita gudu da ƙarin ƙira mai sauri. Har ila yau, yana da mahimmanci a ga ko irin wannan tsari ya bayyana a cikin wasu nau'in magana da bututun samarwa. Madogarar baya bayar da rahoton faffadan samuwa, sakamakon mai amfani, ko kwafi mai zaman kansa, don haka dorewa da ƙimar aikin binciken ya kasance ba a san su ba.

Jagorori masu alaƙa & tambayoyin tambayoyi