Utafiti wa Wharton hupata viwango vya kibinafsi vya mwandishi kutabiri athari ya karatasi ya AI

Nini kilitokea

Watafiti katika Shule ya Wharton walichapisha utafiti katika Sayansi ya Kompyuta ya Asili inayoonyesha kwamba vyeo vya waandishi wa karatasi zao za AI ni kitabiri chenye nguvu zaidi cha manukuu ya kitaaluma ya siku zijazo kuliko alama za kawaida za ukaguzi wa rika. Utafiti ulichambua data kutoka kwa Mkutano wa Kimataifa wa 2023 wa Kujifunza kwa Mashine (ICML) na kugundua kuwa ICML tangu wakati huo imejumuisha njia hii ya kujitofautisha katika mchakato wake wa ukaguzi wa 2026 ili kuripoti karatasi kwa uchunguzi wa karibu na viti vya eneo.

Watafiti wa Shule ya Wharton, wakiwemo maprofesa Weijie Su na Bingxin Zhao na mwanafunzi wa udaktari Buxin Su, walichapisha utafiti katika Sayansi ya Kompyuta ya Asili mnamo Agosti 24. Utafiti huo ulichunguza ikiwa vyeo vya waandishi wa karatasi zao wenyewe vinaweza kutumika kama kiashirio cha kutegemewa cha athari za kisayansi katika uwanja wa akili bandia.

Timu ya watafiti ilichambua data kutoka Mkutano wa Kimataifa wa 2023 wa Kujifunza kwa Mashine (ICML). Walikusanya vyeo vya kibinafsi kutoka kwa waandishi 1,342 wakijumuisha mawasilisho 2,592. Waandishi waliulizwa kuorodhesha karatasi zao kulingana na ubora wa kisayansi unaotambulika kabla ya ukaguzi wa rika kutolewa. Uchambuzi wa mwisho ulijumuisha waandishi 797 na karatasi 1,527 za kipekee baada ya kulinganisha na data ya nukuu.

Utafiti huo uligundua kuwa karatasi zilizoorodheshwa juu zaidi na waandishi wao zilipata wastani wa manukuu mara mbili katika kipindi cha miezi 16 iliyofuata kama zile zilizoorodheshwa chini zaidi. Mchoro huu ulishikilia karatasi zilizokubaliwa na zilizokataliwa. Zaidi ya hayo, viwango vya waandishi vilitabiri hesabu za manukuu ya siku zijazo kwa usahihi zaidi kuliko alama za ukaguzi wa programu zingine. Kati ya karatasi 22 za sampuli zilizopokea zaidi ya nukuu 150, 17 ziliorodheshwa kwanza na angalau mwandishi mmoja.

Kulingana na matokeo haya, watafiti walipendekeza mfumo ambapo tofauti kati ya safu za waandishi na alama za wakaguzi hutumiwa kuripoti karatasi kwa uchunguzi wa karibu. ICML ilijumuisha mbinu hii katika mchakato wake wa ukaguzi wa 2026. Katika jaribio la nasibu, wenyeviti wa eneo ambao wangeweza kuona kategoria za hitilafu waliandika takriban 71% zaidi ya maandishi ya maoni kwa kila karatasi na kuwasiliana mara kwa mara na wakaguzi ikilinganishwa na wale ambao hawakuweza kuona kategoria.

Maelezo ya chanzo: thedp.com ↗

Kwa nini ni muhimu

Uga wa utafiti wa AI unakua kwa kasi zaidi kuliko kundi la wakaguzi rika wenye uzoefu, na hivyo kuunda kikwazo cha kutambua kazi yenye athari kubwa. Utafiti huu unatoa utaratibu wa vitendo, unaoendeshwa na data ili kutenga rasilimali chache za uhakiki kwa ufanisi zaidi. Kwa kutumia viwango vya kibinafsi kuripoti tofauti na alama za wakaguzi, mikutano inaweza kuelekeza umakini kwenye karatasi ambazo zinaweza kupuuzwa au kuhukumiwa vibaya. Mbinu hii inashughulikia uzembe wa muundo katika uchapishaji wa kitaaluma bila kuchukua nafasi ya uamuzi wa kibinadamu, uwezekano wa kuboresha ubora wa jumla na umuhimu wa utafiti unaokubalika wa AI.

Ukuaji wa kasi wa utafiti wa AI umepita upatikanaji wa wakaguzi rika wenye uzoefu, na kuifanya kuwa vigumu kutambua kazi yenye athari kubwa kupitia mbinu za jadi pekee. Utafiti huu unatoa suluhu inayoweza kupanuka kwa kutumia tathmini za waandishi wenyewe ili kuweka vipaumbele kwenye karatasi zinazohitaji uchunguzi wa ziada.

Mbinu haichukui nafasi ya ukaguzi wa rika bali inaiongeza kwa kuangazia hitilafu ambazo zinaweza kuonyesha karatasi inathaminiwa chini au kupita kiasi na wakaguzi. Hii inaruhusu viti vya eneo kutenga muda wao mdogo kwa ufanisi zaidi, kwa kuzingatia hali ambapo mchakato wa ukaguzi unaweza kukosa nuances muhimu.

Utafiti unakubali kwamba hesabu za manukuu ni seva mbadala isiyokamilika kwa ubora, kwani zinaweza kuathiriwa na umaarufu wa mada, muda na mwonekano wa mwandishi. Hata hivyo, uwiano mkubwa kati ya vyeo vya kibinafsi na manukuu unapendekeza kwamba waandishi wana hisia zinazofaa za athari inayowezekana ya kazi zao, ambayo inaweza kutumika ili kuboresha ufanisi wa mchakato wa ukaguzi.

Nini cha kutazama baadaye

Fuatilia ikiwa mikutano mingine mikuu ya AI na mafunzo ya mashine yanatumia mbinu zinazofanana za utofauti wa viwango vya kibinafsi katika michakato yao ya ukaguzi. Tazama tafiti za ufuatiliaji zinazotathmini kama mbinu hii inaboresha ubora wa karatasi zinazokubalika au ikiwa inaongeza tu mzigo wa kazi wa wakaguzi. Zaidi ya hayo, angalia ikiwa jumuiya ya wasomi inatengeneza itifaki sanifu za kujiweka katika viwango ili kuhakikisha uthabiti na kuzuia upotoshaji katika maeneo tofauti.

Haijulikani ikiwa njia hii itatumiwa na mikutano mingine mikuu ya AI kama vile NeurIPS au ICLR. Mafanikio ya utekelezaji wa ICML yanaweza kutumika kama uthibitisho wa dhana kwa jumuiya pana ya wasomi.

Utafiti wa siku zijazo utahitaji kubainisha ikiwa uchunguzi unaoongezeka wa karatasi zilizoalamishwa husababisha maamuzi bora ya kukubalika au ikiwa unaongeza tu mzigo kwa viti vya eneo na wakaguzi. Utafiti wa sasa ulipima ushiriki katika mchakato wa ukaguzi lakini haukuweza kuboresha ubora wa maamuzi ya mwisho.

Kuna uwezekano wa hatari ya kudanganywa, ingawa watafiti walitengeneza mfumo ili kupunguza motisha kama hizo kwa kuficha mwelekeo wa tofauti kutoka kwa viti vya eneo. Kufuatilia jinsi waandishi na wakaguzi wanavyobadilika kulingana na mchakato huu mpya itakuwa muhimu katika miaka ijayo.

Miongozo & maswali yanayohusiana