Daraasadu waxay ogaatay bartilmaameedyada Badbaadada AI waxay isticmaali karaan Tijaabooyin aad uga yar

Maxaa dhacay

Warqad cilmi baaris ah oo la dhajiyay Agoosto 5 waxay quseysaa habka imtixaanka waxbarashada si loo cabbiro waxa bartilmaameedyada badbaadada AI ay qabtaan, dooro qaybo yaryar oo dardargelin waxtar leh, iyo isbeddellada xisaabinta ee habdhaqanka moodeelka.

Laba cilmi-baarayaal oo madax-bannaan iyo laba cilmi-baarayaal ah oo ku xidhan Machadka Ammaanka ee UK ayaa qiimeeyay 192 nooc oo wada sheekaysi ah oo ku saabsan siddeed qodob oo daboolaya diidmada-codsiga waxyeellada leh, diidmada badan ee codsiyada aan fiicnayn, waxyeelada macnaha guud, iyo run-sheegnimada. Qolka buuxa wuxuu ka koobnaa 5,255 dardaaran kahor intaan la sii diyaarin; Falanqaynta ayaa haysay 5,067 ka dib markii ay meesha ka saartay jawaabaha aan dhibcaha lahayn iyo walxaha aan kala soocin moodooyinka la tijaabiyay.

Kooxdu waxay moodallada ula dhaqmeen sidii imtixaan-qaadayaal iyo soo-jeedin-beegtiyeed ahaan sidii shay tijaabo ah, iyaga oo isticmaalaya aragtida jawaabta shay si ay u qiimeeyaan soo-jeedinta adag iyo moodooyinka kala soocida ugu wanaagsan. Falanqaynta qodobka ugu muhiimsan, xal saddex-geesood ah - oo lagu soo koobay diidmo adag, run-sheeg, iyo waxyeelada macnaha guud - waxay sharraxday 77% kala duwanaanshaha awoodaha moodeelka, marka la barbar dhigo 47% hal arrin.

Guud ahaan 20 qiimayn oo la qabtay, saddex go'an oo 25-tijaabooyin degdeg ah ayaa soo kabtay saddexdaas arrimood iyagoo isticmaalaya wax ka yar 2% qolka. Wixii HarmBench, SORRY-Bench, iyo OR-Bench-Hard, qiyaas ahaan 10 si habboon loo doortay waxay soo saareen darajooyin heer-buuxa ah oo la xidhiidha 0.92 ilaa 0.94 waxayna gooyeen tirada dardargelinta 97-99%; faa'iidada ayaa yaraatay markii miisaaniyada imtixaanku ay korodhay.

Cadaadisku si fudud maaha muunado random ah. Aragtida jawaabta shayga ayaa qiyaaseysa sida ay degdeg kasta u adag tahay iyo sida ay u kala soocdo moodooyinka leh qaabab jawaab celineed oo kala duwan, ka dibna doorta walxaha ilaaliya qaab dhismeedka imtixaanka weyn. Qorayaashu waxay barbar dhigeen foomamka gaagaaban ee go'an iyo xulashada la qabsiga waxayna sameeyeen qiimayn halkii ay cabbiri lahaayeen oo keliya xogta loo isticmaalay in lagu doorto dardargelinta. Naqshaddaasi waxay taageertaa sheegashada cidhiidhiga ah ee ah in qaar ka mid ah darajooyinka bartilmaameedka ee jira si hufan loo soo saari karo; ma tusinayso in tijaabada 10- ama 25-shay ay daaha ka qaadi karto hab cusub oo guul-darro ah.

Faahfaahinta isha: Rivera and colleagues' research paper on arXiv ↗

Maxay muhiim u tahay

Daraasadu waxay soo jeedinaysaa in dardargelinta si wanaagsan loo soo xushay ay ka dhigi karto hubinta badbaadada AI ee joogtada ah mid ka jaban iyada oo aan la iska dhigin in halbeeg kastaa uu cabbirayo hal dhibic nabdoonaanta caalamiga ah.

Tijaabooyin ka jaban waxay u oggolaan karaan soo-saareyaasha, shaybaarrada yaryar, iyo qiimeeyayaasha madaxa-bannaan inay hubiyaan noocyo badan oo moodal ah inta lagu jiro tababarka, hagaajinta, qiyaasidda, iyo isbeddellada degdegga ah ee nidaamka. Natiijadu waxay ku saabsan tahay dib-u-soo-saarka cabbiraadaha bar-tilmaameedka jira si hufan, oo aan la ballaarin waxa bartilmaameedyadaas lagu ogaan karo.

Falanqaynta arrintu waxay sidoo kale daaha ka qaadaysaa ganacsiga dhibcaha. Tilmaamaha abaal-marinta diidmada ayaa midba midka kale is dul-taagi kara, halka bartilmaameedka ka fogaanshaha diidmada aan loo baahnayn ay abaal-marinayso hab-dhaqanka lidka ku ah. Celcelis ahaan iyaga oo aan sharaxin miisaanku waxay qarin kartaa in moodalku noqday mid nabdoon, oo kaliya ka xaddidan, ama ka faa'iido yar codsiyada aan fiicnayn.

Waraaqda ayaa sidoo kale tijaabisay hababka xisaabinta sanduuqa madow ee si ula kac ah u kiciyay dabeecadda shandad ciideed. Jeegaynta qaab-jawaabeedka ayaa lagu qabtay hawl-qabad la'aan door ah laakiin waxa ay seegtay wax-qabad la'aanta labbiska intooda badan; ku darida hubinta kartida taariikheed waxay sare u qaaday ogaanshaha isku darka ilaa 94-97% guud ahaan kiisaska la matalay. Taasi waxay taageertaa xisaab xidhka lakabka ah halkii lagu tiirsanaan lahaa hal dhibic.

Horumariyeyaasha, qiimaha hawlgalku waa inta jeer. Qiimayn gaaban ayaa dib loo samayn karaa ka dib isbeddel degdeg ah oo nidaamsan, ka gudub qiyaasid, habayn wanaagsan, qalab casriyeyn, ama dib u eegis siyaasadda badbaadada iyada oo aan la isticmaalin miisaaniyada bar-tilmaameedka buuxa mar kasta. Laakiin natiijadu waxay faa'iido leedahay oo keliya marka kooxuhu u hayaan qolka asalka ah sidii xisaab hubin xilliyeed ah, beddelaan dardargelinta la qabtay, oo ay baaraan isbeddellada la yaabka leh halkii ay si toos ah ugu wanaajin lahaayeen imtixaanka la cufan. Haddii kale jeega jaban wuxuu noqon karaa bartilmaameed kale oo si xad dhaaf ah loogu rakibo.

Maxaa la daawan doona xiga

U fiirso ku celcelinta madax banaan, ansaxinta qoysaska moodada mustaqbalka, iyo cadaymaha in imtixaanada la gaabiyay ay saadaaliyaan dabeecad ka baxsan bartilmaameedyada loo qorsheeyay in ay soo saaraan.

Kani waa daabacaad cusub, ee maaha xukun dib-u-eegis asaaga ah oo dhammaystiran. Falanqaynta qaab-dhismeedka daahsoon waxay adeegsatay 134 nooc, kuwaas oo ay qorayaashu xuseen in ay yar yihiin halbeegyada cilmi nafsiga ee caadiga ah, iyo habka soo saarista beddelka ah ayaa haystey laba arrimood oo aan ahayn saddex. Magacyada qodobku waa soo koobid dhab ah, oo aan ahayn qeexitaannada badbaadada ee la ansaxiyay.

Nooc kastaa wuxuu soo saaray hal jawaab isla markiiba la heli karo iyada oo loo marayo OpenRouter, iyo halbeeg kasta wuxuu adeegsaday garsooraha otomaatiga ah ee loo qoondeeyay. Natiijadii imtixaanada gaagaaban waxay dhaxli karaan cilladaha soo jeedintii asalka ahayd, xeerarka dhibcaha, caynsanaanta luqadda, iyo garsoorayaasha; Qorayaashu waxay si cad u yiraahdaan cadaadisku ma muujinayo in bartilmaameedku saadaaliyay badbaadada dirida ama uu sii ahaado mid macluumaad u ah moodooyinka mustaqbalka.

Tijaabada shandad-cammuudda ee la isticmaalay waxa ay kicisay noole moodeel ah halkii ay ka ahaan lahaayeen moodallo si fiican loo habeeyey si loo qiimeeyo qiimaynta, taas oo fududayn karta in la ogaado. Jeegaga API waxa ay dejiyaan sii socoshada hab-dhaqanka, ma aha aqoonsiga miisaannada qarsoon, daraasadduna ma tijaabin cadaw si gaar ah loogu tababbaray in uu jabiyo hababka hanti dhawrka.

Soohdinta ugu muhiimsan ee warqaddu waa inta u dhaxaysa waxtarka cabbirka iyo hubinta badbaadada. Foom gaaban ayaa qiyaasi kara qodobada dahsoon ee ku jira bartilmaameedka asalka ah, laakiin waxay dhaxlisaa luqadda bartilmaameedka, garsooraha, qaabaynta degdega ah, iyo dhibco indho la'aan ah. Qiimaynta mustaqbalka waa in ay tijaabiso dardargelinta luqadaha badan, wakiilada qalabka karti u leh, wada sheekaysiga dheer, moodooyinka si fiican loo habeeyey, iyo xukunnada madaxa banaan ee aadanaha. Waa inay sidoo kale soo sheegaan marka dhibcaha la isku dhejiyay ay noqdaan kuwo aan degganayn, sababtoo ah isku xidhka saxda ah ee xogta la hayo waxay qarin kartaa guul darrida qoyska soo socda.

Sharciga korsashada ee dhabta ah wuxuu ka yimaadaa xaddidaadyadaas: u isticmaal imtixaannada la isku cufiyey sidii xukunno, ee ha xukumin. Kooxuhu waxay si joogto ah u ordi karaan si ay u qabtaan dib-u-celinta, ka dibna waxay kordhiyaan isbeddelka heerka cabbirka buuxa iyo dib u eegista aadanaha marka qaabka gaaban uu u dhaqaaqo si lama filaan ah. Caddaynta daraasadda u gaar ah ayaa taageerta socodka shaqada ee lakabka ah sababtoo ah qaab-dhismeedka qodobka waxaa laga soo qaatay dardargelin gaar ah, garsoorayaal, iyo wax soo saar gaar ah. Daabacaada shayada la doortay, koodka xulashada, natiijooyinka la qabtay, iyo taariikhda nooca waxay u ogolaanaysaa qiimeeyayaasha madaxa banaan inay hubiyaan in imtixaanada gaagaaban ay sii ahaanayaan macluumaad ka dib markii horumariyayaashu ay arkaan iyo ka dib qoysaska moodada cusub beddelaan qaybinta jawaabaha.

Isla daah-furnaan la mid ah ayaa muhiim ah marka moodelka la cusboonaysiiyo. Imtixaan gaaban oo lagu qiimeeyay hal jiil wuxuu noqon karaa mid aad u fudud, aad u cidhiidhi ah, ama si lama filaan ah ula jaanqaada nidaamka cusub. Kooxuhu waa inay ilaashadaan noocyadii hore, soo bandhigaan marka shay ama garsooruhu isbedelaan, oo ay ka warbixiyaan muddada kalsoonida halkii ay ka soo bandhigi lahaayeen darajooyin la isku koobay oo ah buundada badbaadada saxda ah. Hab-dhaqannadaas waxay natiijada waxtarka warqadda u beddelaan barnaamij la-socod la-socod ah iyadoo la ilaalinayo bartilmaameedka asalka ah oo diyaar u ah dib-u-eegis qoto dheer.

Tilmaamaha la xidhiidha & su'aalaha