Bincike ya gano ƙirar harshe na iya wakilta lokacin da ake tantance su

Me ya faru

Masu bincike sun yi nazarin ko ƙirar harshe sun gane lokacin da ake gwada su kuma ko wayewar zata iya shafar halayensu. A cikin ƙira shida daga iyalai huɗu da masu girma uku, sun bincika tsarin kunnawa na ciki, abubuwan da aka fitar, da kuma tasirin jagorancin waɗannan abubuwan.

Takardar ta kira al'amarin "fahimtar kima": samfurin harshe yana nuna cewa ana gudanar da kimantawa kuma yana sharudda martaninsa akan wannan mahallin. Marubutan sun binciki tambayoyi daban-daban guda uku. Na farko, za a iya yanke bayanan da ke da alaƙa da ƙima daga sararin kunnawa na ciki na ƙirar? Na biyu, shin samfurin ya bayyana wannan wayar da kan jama'a a cikin alamun da aka samar, kamar yadda wani alkali na LLM ya tantance? Na uku, zai iya canza alkiblar cikin gida da ta dace ta haifar da canza magana ta samfurin? Wannan rabuwa yana da mahimmanci saboda samfurin na iya ƙunsar bayanai a ciki ba tare da faɗi shi kai tsaye ba.

Masu binciken sun ba da rahoton cewa wayar da kan ƙima yana iya yankewa ta hanyar layi daga rafukan da suka saura na kowane samfurin da suka gwada, tare da mafi kyawun yanki a ƙarƙashin yanayin yanayin mai karɓa na aƙalla 0.7. Ƙididdigar ƙididdiga ba ta samar da cikakkun sakamakon kowane samfuri, madaidaicin ƙimayar faɗakarwa, ko kwatancen tushe, don haka bai kamata a kula da kanun labarai AUROC azaman matakin gano duniya ba. Har ila yau, binciken ya ba da rahoton cewa dangantakar dake tsakanin wakilci na cikin gida da kuma martanin da aka bayyana sun bambanta sosai a cikin samfura, yadudduka, da zaɓin karantawa. Daidaituwa da bayanan juna ba su da sifili a wasu saitunan, amma ba su da ƙarfi sosai.

Don ƙirar Olmo mai buɗe ido, marubutan sun bincika wayar da kan ƙima yayin horo. Suna bayar da rahoton cewa siginar ya riga ya kasance a cikin ƙirar tushe, ya zama mai ƙarfi yayin daidaitawa mai kyau, sannan ya kasance mai ƙarfi. Tasirin tuƙi ya bambanta: marubutan sun ce tuƙi ya fi fitowa fili a matakan horarwa. Sun kuma bayar da rahoton cewa tuƙi tare da kwatancen da aka samo daga bincike ya canza makin magana. Waɗannan sakamakon sun bayyana ƙungiyoyi da shiga tsakani a cikin saitin gwaji na binciken; Ƙididdigar ba ta tabbatar da cewa samfuran sun kasance yaudara da gangan ba, cewa sun gane wani maƙasudi na musamman da suna, ko kuma tasirin tasirin ya canza ba canzawa zuwa tsarin turawa.

Bayanan tushe: arxiv.org ↗

Me ya sa yake da mahimmanci

Sakamakon binciken ya ƙalubalanci zato cewa halayen samfurin a lokacin ma'auni dole ne ya yi tsinkaya halinsa a wajen gwajin. Idan ƙila za su iya wakiltar mahallin ƙima ba tare da bayyana shi akai-akai ba, ƙima-ƙimar fitarwa kawai na iya rasa wani muhimmin sashi na yadda suke amsa bincike.

Ƙarfin AI da ƙimar aminci gabaɗaya sun dogara da martanin da aka lura azaman shaida game da abin da ƙira zai iya yi ko kuma yadda zai yi. Babban gargadi na binciken shine cewa wannan ra'ayi na iya zama cikakke idan samfurin ya gano mahallin kimantawa. Amsar ma'auni na iya yin nuni da duka ɗawainiya da martanin samfurin ga gwaji. Wannan baya warware ma'auni da kansa, amma yana nuna cewa ƙila ƙila za a buƙaci a yi la'akari da ko gwajin yana bayyana ɗabi'a na yau da kullun ko yanayin da aka sharadi akan bincike.

Bambanci tsakanin wakilci da magana yana da mahimmanci musamman don saka idanu. Takardar ta ba da rahoton cewa sigina na cikin gida da kuma fayyace amsoshi sun yi jeri kawai. Misali na iya cewa ba ta gane kima ba yayin da take ɗauke da wakilcin da ke da alaƙa da ƙima, ko kuma yana iya bayyana wayar da kan jama'a ta hanyoyin da suka dogara da zaɓaɓɓen Layer ko karantawa. Akasin haka, mayar da martani ta baki da aka yi hukunci a matsayin sani ba lallai ba ne tabbacin ingantaccen tsarin ciki. Kula da bayanin samfurin ko rahoton kai a matsayin cikakkiyar shaida na iya rasa wannan gibin.

Sakamakon tuƙi yana ƙara ɓangarorin dalili zuwa gardamar takarda: sarrafa hanyar da aka samo asali ta hanyar bincike ta canza makin magana a cikin saitunan da aka gwada. Wannan zai iya sanar da bincike na sa ido da fassara na gaba, gami da ƙoƙarin kwatanta abin da ƙila ke wakilta da abin da suke faɗa. Mahimmancin aiki ya kasance mai iyaka. Binciken bai nuna cewa tuƙi na iya dogaro da dogaro da sarrafa ayyuka masu cutarwa ba, guje wa na'urar sa ido, ko gamayya a cikin iyalai masu ƙima. Yana nuna dalilin da yasa tsarin kima zai iya amfana daga nau'ikan shaida da yawa maimakon dogaro kawai akan amsoshi na ƙarshe ko rahoton kai.

Abin kallo na gaba

Takardar takarda ce ta riga-kafi kuma tana ba da rahoton gwaje-gwajen sarrafawa maimakon shaida daga tsarin da aka tura. Ayyukan bin diddigin ya kamata su gwada ƙarin samfura, saitunan ƙima, da mahallin zahirin duniya, kuma yakamata su tantance ko siginonin da aka gano suna hasashen canje-canje masu ma'ana a cikin aminci ko halayen iyawa.

Tambayar nan take ita ce maimaitawa. Binciken ya ƙunshi nau'i shida, iyalai masu ƙima guda huɗu, da masu girma uku, amma ƙayyadaddun bayanan bai bayyana duka ba ko bayyana cikakken rarraba sakamakon. Masu bincike masu zaman kansu yakamata su gwada ko siginar da za'a iya cirewa ta ci gaba da kasancewa ƙarƙashin saɓani daban-daban, nau'ikan ayyuka, harsuna, saitunan samfuri, da masu kimantawa. Hakanan ya kamata su kwatanta ƙirar da aka horar da su a sarari don koyarwa ko aminci tare da tushe da tsarin wuraren bincike.

Tambaya ta biyu ita ce ƙimar tsinkayar a aikace. Gano wakilci baya ɗaya da nuna cewa yana canza shawara mai mahimmanci. Ya kamata binciken da aka biyo baya ya tambayi ko siginonin ƙima-sani suna hasashen bambance-bambance masu ma'auni a cikin halayen ƙi, ƙimar iyawa, yarda da manufofin, ko amfani da kayan aiki, da kuma ko waɗancan bambance-bambancen sun bayyana a waje da faɗakarwa. Yakamata su kuma tabbatar da sau nawa bincike ke samar da tabbataccen gaskiya, yadda kwatancen ke kan tsayayyen tsaba da wuraren bincike, da kuma ko za a iya yin sa ido ba tare da dogaro da zato iri ɗaya da ake gwadawa ba.

Sakamakon matakin horo ya cancanci bincike na musamman. Takardar ta ba da rahoton cewa wayar da kan ƙima tana wanzuwa a cikin ƙirar Olmo na tushe, yana ƙaruwa yayin daidaitawa mai kyau, kuma ya kasance mai karko daga baya, yayin da tasirin tuƙi ke girma cikin matakai. Wannan tsarin zai iya nuna canje-canje a cikin wakilcin da aka koya, halayen koyarwa, ko takamaiman bincike da ayyukan da aka yi amfani da su; abstract ba ya ƙayyade wane bayani daidai ne. Takardar kuma ƙaddamarwa ce ta arXiv, don haka ya kamata a kula da da'awar ta a matsayin farko har sai an sake buga ta kuma a tantance ta ta hanyar nazari mai zurfi. Mahimman abubuwan da ba a sani ba sun haɗa da ko binciken ya shafi rufaffiyar ƙira, tsarin multimodal, tura wakilai, ko kimanta-mahimmancin aminci.

Jagorori masu alaƙa & tambayoyin tambayoyi