Maxaa dhacay
Koox ayaa qiimeysay in helitaanka jawaab la aamini karo ay ka caawiso nidaamyada AI inay xaqiijiyaan sababta ay soo saareen moodooyinka kale ee AI. Iyadoo la adeegsanayo 237 xalal-tiro-tiro ah oo loogu talagalay 79 su'aalood oo fiisigis ah, cilmi-baarayaashu waxay ogaadeen in ka jawaabista helitaanku wanaajiyey hubinta gunaanadka in ka badan baaritaanka madaxbannaan ee dooda taageerada.
Daabacaadda hordhaca ah, oo loo gudbiyay arXiv Agoosto 31, waxay eegaysaa la socodka silsiladda-fikirka, hab uu mid ka mid ah nidaamka AI uu ku qiimeeyo raad sababeedka uu mid kale soo saaray. Qorayaashu waxay soo ururiyeen 237 xalal-tilaabo ah 79 su'aalood oo fiisigiska imtixaankii ugu dambeeyay ee bini'aadminimada laga soo qaatay saddex nooc oo xuduud ah. Raad-raacyadu kuma jiraan khaladaad la geliyey; cilmi-baarayaashu waxay si madax-bannaan u calaamadiyeen in jawaab kasta oo kama dambays ah ay sax ahayd iyo halka ay tillaabadii ugu horreysay ee beenta ahi ka dhacday labadaba.
Halbeegga tixraaca wuxuu isku daray sharraxaadda physicist, dood-qaab-faneed madax-bannaan oo luqad-weyn ah iyo garsoor indho-sharraxeed. Nidaamkani waxa uu aqoonsaday 24 raadad oo muhiim ah: xalalka jawaabahoodii ugu dambeeyay ay sax ahaayeen in kastoo sababta ay ku jirto khalad dhab ah. Waraaqdu waxay ku qeexday khaladaadkan kuwo caadi ah oo aan badnayn kuwa aan culays lahayn halkii ay si ulakac ah iskaga hor iman lahaayeen, taas oo xaddidaysa sida tooska ah ee natiijadu loogu soo ururin karo hab-dhaqan cadaawad ah.
Siddeed kormeerayaal AI ah ayaa ku qiimeeyay raadka saddex shuruudood: jawaab aan la xaqiijin, jawaab shahaado ah, ama ka dib markii ay sameeyeen ballan indho la'aan ka hor inta aysan arkin jawaabta. Shahaadada, celceliska saxda ah ee dheellitiran ayaa kordhay min 0.637 ilaa 0.796, halka khaladka koowaad ee saxda ah uu ka kordhay 0.261 ilaa 0.379. Guulahaas macnaheedu maaha in kormeerayaashu ay si isku mid ah ugu fiicnaadeen xaqiijinta madaxbannaan.
Farqigu wuxuu ahaa mid cad marka la xasuusto. Shahaadadu waxay kordhisay saamiga raad-jawaab-jawaabeedka khaldan ee lagu calaamadiyay inay khaldan yihiin min 0.653 ilaa 0.951, laakiin dib u xasuusinta raadadka muhiimka ah ee 0.521 ilaa 0.438. Ballanqaad indho la'aan ka dib, kormeerayaashu waxay muujiyeen jawaabta cusub ee la calaamadeeyay 93.8% ee raadadkii jawaabaha khaldan ee hore loo gudbiyay, marka la barbar dhigo 18.0% oo kaliya ee raadadka muhiimka ah. Qorayaashu waxay soo sheegaan in dhammaan siddeed kormeerayaashu ay muujiyeen jihada isku midka ah ee isbarbardhigga, oo leh su'aal-bootstrap 95% muddada kalsoonida ee [+0.256, +0.506].
Faahfaahinta isha: arxiv.org ↗
Maxay muhiim u tahay
Natiijooyinku waxay caqabad ku yihiin malo-awaalka guud ee la socodka silsiladda-fikirka: in jawaabta ugu dambeysa ee saxda ah ay tahay caddayn faa'iido leh oo ah in habka sababaynta uu ahaa mid sax ah. Kormeerka AI, daraasaddu waxay soo jeedinaysaa in qiimayntu ay dhaafi karto awoodda la socodka marka kormeerayaasha loo oggolaado inay ku tiirsanaadaan natiijooyinka la aamini karo.
Macnaha dhexe ayaa ah in kormeeraha AI laga yaabo inuu hubiyo in raadraaca sababaynta uu ku raacsan yahay jawaabta halkii uu go'aamin lahaa in sababtu ay sax tahay iyo in kale. Jawaabta khaldan waxay abuurtaa iswaafaqayn muuqata oo helida jawaabta soo bandhigi karto. Jawaabta saxda ah, marka la barbardhigo, waxay ka dhigi kartaa raad cilladaysan inuu u muuqdo mid la aamini karo xitaa marka tillaabadii hore ay been tahay. Cinwaanka warqaddu waxay soo bandhigaysaa farqigan: jawaabtu maaha doodda.
Taasi waxay khusaysaa qiimaynaha badbaadada ee lagu dhisay wax soo saarka la aqbali karo. Haddii kormeerayaasha la siiyo jawaab tixraac ah oo la aamini karo, waxqabadkooda la cabbiray ayaa laga yaabaa inay ka turjumaan hubinta gabagabada-joogta ah halkii ay ka ahaan lahaayeen baadhis madax-bannaan oo habka. Qorayaashu waxay ku sifeeyeen qaabka inuu yahay analoog wanaagsan oo jabsiga abaal-marinta: wax-soo-saarku wuxuu qancin karaa qiimeeyaha iyadoo habka soo saaray uu yahay mid aan fiicnayn. Tani waa sheegasho ka timid daabacaadda hore, ma aha caddaynta in nidaamyada la diray ay hadda isticmaalayaan sababo khaldan meel gaar ah oo saameyn leh.
Walaaca dhabta ah kuma koobna fiisigiska ama xalinta dhibaatada rasmiga ah. Nidaam kasta oo kormeer ah oo u daaweeya natiijada guulaysata sida caddaynta hab-socodka badbaadada leh waxay wajihi kartaa meel indho la'aan ah oo la mid ah, gaar ahaan marka sababaynta dhexdhexaadka ah ay adag tahay in si toos ah loo ansixiyo. Isha ma cadeeyneyso in saameyntu ay u wareegto meelo kale, laakiin waxay bixisaa kiis tijaabo ah oo la taaban karo oo lagu kala soocayo xaqiijinta natiijada iyo xaqiijinta habka.
Ururada qiimeeya nidaamyada AI, natiijooyinku waxay tilmaamayaan ka warbixinta helitaanka jawaabta xaalad tijaabo ah oo muhiim ah. Kormeeraha si fiican u shaqeeya marka uu barbardhigi karo natiijada la xaqiijiyay ayaa laga yaabaa inuu weli daciif yahay helidda khaladaadka raadadka saxda ah. Kala soocidaasi waxay saameyn kartaa sida horumariyayaashu u tarjumaan buundooyinka badbaadada, ay doortaan hababka la socodka oo ay go'aansadaan waxa hubinta dheeraadka ah ee loo baahan yahay ka hor inta aan la isku hallayn shaqada la soo saaray.
Farsamaynta Is-dhexgalka: Sida Dhabta Ay U Shaqeyso
U baadh tignoolajiyada hoose ee ka dambeeya horumarkan si isdhexgal leh.
Why can ethical evaluation not be reduced to one model score?
Maxaa la daawan doona xiga
Shaqadu waa daabacaad ku salaysan xalalka fiisigiska ee saddexda nooc ee xuduudaha ah, siddeed kormeerayaal iyo 24 raadad muhiim ah halkaas oo jawaabtu ay sax ahayd laakiin sababtu ay ku jirtay khalad. Tijaabooyin dheeri ah ayaa loo baahan yahay maadooyin kala duwan, moodallo, noocyada khaladaadka iyo goobaha iska soo horjeeda.
Waxa ugu muhiimsan ee aan la garanayn waa guud ahaan. Daraasadu waxay isticmaashaa su'aalaha fiisigiska, xalalka saddexda nooc ee xuduudaha iyo siddeed kormeerayaasha LLM. Isha ma odhanayso in qaab isku mid ah lagu soo bandhigay xisaabta, codaynta, falanqaynta sharciga, socodka sayniska ama hawlaha wakiilada dhabta ah ee aduunka. Sidoo kale ma dejiso sida wax qabadku isu beddelo qoysaska moodada ah, la socoshada dardargelinta ama qaababka raadraaca.
24-ka raad ee muhiimka ah ayaa ka dhalan kara dooda warqadda, laakiin waa qayb yar oo ka mid ah xalalka la ururiyey. Isha ma bixiso macluumaad ku filan si loo go'aamiyo sida ay raad-raacyadu u yihiin dhammaan xalalka jawaab-celinta saxda ah ama sida natiijadu isu beddesho muunad weyn oo kala duwan. Sidaa darteed akhristayaasha waa in ay ula dhaqmaan boqolleyda la soo sheegay caddayn ahaan qiimayntan, ee maaha sida heerarka caalamiga ah ee kormeerayaasha AI.
Cilmi-baadhayaashu waxay si cad u sheegeen in khaladaadka la daraaseeyay ay ahaayeen kuwo caadi ah, oo u badan kuwa aan culays lahayn oo aan ahayn kuwo iska soo horjeeda. Taasi waxay ka dhigeysaa mid furan in isku dayga ula kac ah ee lagu qarinayo qaladka ay ka dhigayso la socodka ka warqabka jawaabta mid waxtar badan ama ka yar. Isha sidoo kale kama warbixiso natiijooyinka dirista, isbarbardhigga aadanaha-kormeerka ama cawaaqibka nidaamka hawlgalka.
Shaqada mustaqbalka waa in ay tijaabiso xaaladaha la socodka kaas oo qiimeeyuhu uusan helin jawaab la aamini karo, waa in uu sameeyaa ka hor inta uusan arkin natiijada, ama uu isticmaalo hubinta madaxbanaanida ee sheegashooyinka dhexe. Waa in sidoo kale la baaro in kormeerayaashu ay si kalsooni leh u kala saari karaan gabagabada saxda ah ee lagu gaaray sabab macquul ah oo laga soo bilaabo mid lagu gaarey waddo khaldan. Ilaa inta laga jawaabayo su'aalahaas, dhibcaha sare ee la socodka ka warqabka jawaabta waa in aan loo akhriyin caddayn ahaan in habka sababaynta nidaamka AI uu yahay mid sax ah.