Bincike Ya Nemo Alamomin Tsaron AI na Iya Amfani da Gwaje-gwaje kaɗan

Me ya faru

Takardar bincike da aka buga a ranar 5 ga Agusta tana amfani da wata hanya daga gwajin ilimi don auna abin da alamomin aminci na AI suka kama, zaɓi ƙananan saiti na faɗakarwa masu fa'ida, da duba canje-canje a cikin ƙirar ƙira.

Masu bincike masu zaman kansu guda biyu da masu bincike guda biyu da ke da alaƙa da Cibiyar Tsaro ta AI ta Burtaniya sun kimanta nau'ikan taɗi 192 akan maƙasudai takwas waɗanda ke rufe ƙirƙira-ƙira mai cutarwa, ƙin buƙatun mara kyau, cutar da mahallin mahallin, da gaskiya. Cikakken rukunin ya ƙunshi faɗakarwa 5,255 kafin aiwatarwa; binciken ya ci gaba da riƙe 5,067 bayan cire martani maras kyau da abubuwan da ba su bambanta tsakanin samfuran da aka gwada ba.

Tawagar ta ɗauki samfura azaman masu gwajin gwaji da ma'auni a matsayin abubuwan gwaji, ta amfani da ka'idar amsa abu don ƙididdige waɗanne abubuwan faɗakarwa sun kasance masu wahala da waɗanne samfuri ne mafi kyawun raba. A cikin babban mahimmancin bincikensa, bayani mai abubuwa uku-wanda aka taƙaita a matsayin ƙin ƙi, gaskiya, da lahani na mahallin-ya bayyana 77% na bambancin iyawar samfurin, idan aka kwatanta da 47% don guda ɗaya.

Fiye da kimantawa guda 20 da aka gudanar, ƙayyadaddun gwaje-gwajen gaggawa guda 25 guda uku sun dawo da waɗannan abubuwan uku ta amfani da ƙasa da 2% na ɗakin. Don HarmBench, SORRY-Bench, da OR-Bench-Hard, kusan 10 zaɓaɓɓun zaɓaɓɓun abubuwan da suka dace sun sake haifar da cikakken matsayi tare da alaƙa na 0.92 zuwa 0.94 kuma an yanke adadin faɗakarwa da 97-99%; fa'idar ta ragu yayin da kasafin gwajin ya karu.

Matsawa ba kawai samfurin bazuwar ba ne. Ka'idar amsa abu tana ƙididdige yadda wahalar kowane gaggawar ke da kyau da kuma yadda yake raba samfura tare da tsarin amsa daban-daban, sannan zaɓi abubuwa waɗanda ke adana tsarin babban gwaji. Marubutan sun kwatanta ƙayyadaddun gajerun fom tare da zaɓin daidaitawa kuma sun gudanar da kimantawa maimakon aunawa kawai bayanan da aka yi amfani da su don zaɓar faɗakarwa. Wannan ƙirar tana goyan bayan kunkuntar da'awar cewa za'a iya sake haifar da wasu ƙididdiga masu alaƙa da kyau; baya nuna cewa gwajin abu 10- ko 25 na iya gano sabon yanayin gazawa gaba ɗaya.

Bayanan tushe: Rivera and colleagues' research paper on arXiv ↗

Me ya sa yake da mahimmanci

Binciken ya nuna cewa mafi kyawun zaɓaɓɓen faɗakarwa na iya sa yawan binciken amincin AI mai rahusa ba tare da yin riya cewa kowane ma'auni yana auna ƙimar amincin duniya ɗaya ba.

Gwaje-gwaje masu arha na iya barin masu haɓakawa, ƙananan dakunan gwaje-gwaje, da masu kimantawa masu zaman kansu su duba ƙarin nau'ikan samfuri yayin horo, daidaitawa, ƙididdigewa, da canje-canjen gaggawar tsarin. Sakamakon shine game da sake haifar da ma'aunin ma'auni da kyau, ba faɗaɗa abin da waɗannan alamomin za su iya ganowa ba.

Har ila yau, ƙididdigar ƙididdiga tana fallasa cinikin ƙima. Alamomin da ke nuna ƙin karɓar lada na iya haɗuwa da juna, yayin da ma'auni don guje wa kin amincewar da ba dole ba yana ba da lada sabanin hali. Matsakaicin su ba tare da bayyana ma'aunin nauyi ba zai iya ɓoye ko ƙirar ta zama mafi aminci, kawai ta fi ƙuntatawa, ko ƙarancin amfani akan buƙatun mara kyau.

Takardar ta kuma gwada hanyoyin duba akwatin baƙar fata akan halayen jakunkunan yashi da aka haifar da gangan. Duban tsarin amsawa ya kama zaɓin ƙarancin aiki amma ya rasa mafi yawan ƙarancin aiki na uniform; ƙara binciken iyawar tarihi ya ɗaga gano haɗin kai zuwa 94-97% a cikin lamuran da aka kwatanta. Wannan yana goyan bayan duban bincike maimakon dogaro da maki guda.

Ga masu haɓakawa, ƙimar aiki shine mita. Za'a iya sake gudanar da ɗan gajeren kimantawa bayan canji na gaggawa-tsari, wucewar ƙididdigewa, daidaitawa, sabunta kayan aiki, ko sake fasalin manufofin aminci ba tare da cinye kasafin cikakken ma'auni ba kowane lokaci. Amma sakamakon yana da amfani ne kawai lokacin da ƙungiyoyi suka ajiye ainihin suite azaman bincike na lokaci-lokaci, suna jujjuya abubuwan da suka faru, da kuma bincika canje-canje masu ban mamaki maimakon ingantawa kai tsaye don matsa lamba. In ba haka ba rajistan mai arha na iya zama wata manufa don wuce gona da iri.

Abin kallo na gaba

Duba don kwafi mai zaman kansa, tabbatarwa akan iyalai na gaba na gaba, da kuma shaidar da ke nuna gajeriyar gwaje-gwaje na hasashen hali a wajen ma'auni da aka tsara su don haifuwa.

Wannan sabon bugu ne, ba cikakken hukunci na bita ba. Binciken tsarin latent-tsarin ya yi amfani da ƙira 134, waɗanda marubutan suka lura ƙarami ne ta ka'idodin ilimin halin ɗan adam na al'ada, kuma madadin hanyar hakar ta riƙe abubuwa biyu maimakon uku. Sunayen dalilai taƙaitaccen bayani ne, ba ingantattun ma'anar aminci ba.

Kowane samfurin ya samar da amsa guda ɗaya ga kowane sa'ar da ake samu ta hanyar OpenRouter, kuma kowane ma'auni ya yi amfani da alkali mai sarrafa kansa. Gajerun gwaje-gwajen da aka samu na iya gaji aibi a cikin abubuwan faɗakarwa na asali, ƙa'idodin ƙididdigewa, ɗaukar harshe, da alkalai; Marubutan a bayyane sun ce matsawa baya nuna cewa ma'auni na annabta amincin turawa ko kuma ya kasance mai ba da labari don ƙira na gaba.

Gwaje-gwajen jakan yashi da aka yi amfani da su sun haifar da kwayoyin halitta maimakon ƙirar da aka daidaita don kimanta ƙima, wanda zai iya zama sauƙin ganowa. Binciken API ɗin ya tabbatar da ci gaba da ɗabi'a, ba ainihin ma'aunin ƙira na ɓoye ba, kuma binciken bai gwada maƙiyi na musamman da aka horar don kayar da hanyoyin tantancewa ba.

Mahimman iyakar takardar ita ce tsakanin ingancin aunawa da tabbacin aminci. Taƙaitaccen tsari na iya ƙididdige abubuwan ɓoye da ke cikin asalin maƙasudin, amma yana gaji harshen maƙasudin, alkali, tsararru da sauri, da wuraren makafi. Ya kamata kimantawa na gaba su gwada faɗakarwar harsuna da yawa, wakilai masu amfani da kayan aiki, doguwar tattaunawa, ƙima mai kyau, da hukunce-hukuncen ɗan adam masu zaman kansu. Hakanan yakamata su bayar da rahoto lokacin da maki mai matsawa ya zama mara karko, saboda ingantaccen alaƙa akan bayanan da aka gudanar na iya ɓoye gazawa akan dangi na gaba.

Ƙa'idar ɗaukar aiki mai amfani ta biyo baya daga waɗancan iyakoki: yi amfani da matsananciyar gwaje-gwaje azaman saƙo, ba hukunci ba. Ƙungiyoyi za su iya tafiyar da su akai-akai don kama koma baya, sannan haɓaka canji zuwa cikakken ma'auni da nazarin ɗan adam lokacin da ɗan gajeren tsari ya motsa ba zato ba tsammani. Shaidar binciken kanta ta goyi bayan wannan tsarin aiki mai ɗorewa saboda an samo asali ne daga wasu abubuwan faɗakarwa, alƙalai, da samfuran samfuri. Buga abubuwan da aka zaɓa, lambar zaɓi, sakamakon da aka gudanar, da tarihin sigar zai ba da damar masu kimantawa masu zaman kansu su duba ko gajerun gwaje-gwajen sun kasance masu ba da labari bayan masu haɓakawa sun gan su kuma bayan sabbin iyalai na ƙira sun canza rarraba martani.

Irin wannan bayyananniyar al'amura lokacin da aka sabunta samfurin. Gwargwadon gwajin da aka daidaita akan tsara ɗaya na iya zama mai sauƙi, kunkuntar, ko kuma ba da gangan ba tare da sabon tsarin faɗakarwa. Ya kamata ƙungiyoyi su adana sigogin da suka gabata, bayyana lokacin da abu ko alkali ya canza, kuma su ba da rahoton tazarar amincewa maimakon gabatar da matsakaitan matsayi azaman madaidaicin ƙimar aminci. Waɗancan ɗabi'un suna juya sakamakon ingancin takardar zuwa shirin sa ido wanda za a iya tantancewa yayin da ake tanadin ma'auni na asali don yin nazari mai zurfi.

Jagorori masu alaƙa & tambayoyin tambayoyi