Maxaa dhacay
Cilmi baadhayaashu waxay soo bandhigeen BenchBench-Protocol, oo ah bartilmaameed laga dhisay 149 wax ka beddelka borotokoolka qoyan-qoyan ee adduunka. Guud ahaan sagaal nooc, Claude Opus 5 waxa uu gaadhay buundooyinka rubric ee ugu sarreeya ee la soo sheegay, laakiin bartilmaameedka ayaa kashifay qol la taaban karo oo horumar ah.
Waraaqda arXiv waxay soo bandhigaysaa BenchBench-Protocol si ay u noqoto halbeeg u ah moodooyinka luqadaha waaweyn ee maaraynta borotokoolka qoyan iyo wax ka beddelka. Waxay ka kooban tahay 149 hawlood oo dib loo dhisay marka loo eego faraqa u dhexeeya borotokoolka la daabacay iyo noocyada ay saynisyahannadu wax ka beddeleen intii lagu jiray shaqada tijaabada ah ee dhabta ah. Qorayaashu waxay yiraahdeen bartilmaameedku wuxuu soo jiitaa 96 borotokoollada isha oo daboolaya sagaal qaybood oo shaybaarka qoyan, iyo in hawlaha lagu daray ay si aad ah u qiimeeyeen ka dib markii ay dib u eegis ku sameeyeen khabiirada domain.
Naqshadeyntani waxay ka dhigaysa shayga dhexe ee bartilmaameedka isbeddel la taaban karo oo ku yimid habraac jira halkii ay ka ahaan lahayd su'aal la soo saaray oo keliya iyadoo la waydiinayo khubarada inay qiyaasaan caqabad. Waraaqdu waxay u qaabaynaysaa la qabsiga borotokoolka sidii hawl joogto ah laakiin hawsha shaybaadhka ee cawaaqibka leh. Cilmi-baaraha wax ka beddelaya habraaca la daabacay waa inuu ku xisaabtamaa doorashooyinkii hore iyo tallaabooyinka raacaya isbeddelka. BenchBench-Protocol waxay isticmaashaa wax ka beddelladaas dhabta ah si ay u samayso weydiimo iyo in ay u abuurto curiye miisaan leh oo lagu qiimeeyo jawaabaha. Isha ayaa tan u soo bandhigaysa habka qiimeynta dhulka ee qaab dhismeedka tijaabooyinka dhabta ah, iyada oo la ilaalinayo qaab furan halkii laga dhimi lahaa jawaab kasta hal xadhig oo sax ah. Sidaa darteed bartilmaameedku waxa uu tijaabiyaa bal in moodalku ilaalin karo ku-tiirsanaanta nidaamka oo dhan, ee maaha kaliya in uu soo saaro luqad cilmi ahaan macquul ah.
Qorayaashu waxay qiimeeyaan sagaal nooc oo xiran oo furan. Claude Opus 5 wuxuu helayaa natiijada ugu sarreysa ee la soo sheegay, 59.2% buundooyinka rubric caadiga ah; moodooyinka kale waxay keenayaan inta u dhaxaysa 34.1% iyo 47.1%, marka loo eego qoraalka la taaban karo. Halbeeggu sidoo kale waxa uu ahaanayaa mid aan qancin marka ugu wanaagsan ee tobanka isku day la isticmaalo, taasoo la macno ah isku dayga soo noqnoqda uma muuqdaan in ay daaliyaan waxqabadka la heli karo ee hoos yimaada habaynta qiimaynta warqadda. Isha ma tilmaamayso nooc kasta oo la qiimeeyay oo ku jira abstraction, ma sharaxdo tarjumaada saxda ah ee buundada caadiga ah, ama ma sheegto in nooc kasta jawaabtiisa loo isticmaalay si loo sameeyo tijaabo guul leh.
Faahfaahinta isha: arxiv.org ↗
Maxay muhiim u tahay
Nidaamyada AI ayaa si sii kordheysa loo adeegsadaa si ay u taageeraan cilmi-baarista sayniska-nolosha, halkaas oo u muuqda isbeddello habraac yar ay saameyn karaan tallaabooyinka dambe iyo natiijooyinka tijaabada ah. Tijaabinta moodooyinka lidka ku ah waxka bedelka la sameeyay intii lagu jiray shaqada sayniska ee dhabta ah waxay bixisaa qiyaas wax ku ool ah oo la isku halleyn karo marka loo eego qiimeynta kaliya ee su'aalaha la hindisay.
Cilmi-baaristu waxay ka hadlaysaa daciifnimada wax ku oolka ah ee qiimeyno badan oo AI ah ee sayniska: qaabka ayaa laga yaabaa inuu u muuqdo mid awood u leh su'aalaha sayniska ee ballaaran iyadoo la halgamaya faahfaahinta, xulashooyinka ku tiirsan ee ka dhigaya hababka shaybaarka inay shaqeeyaan. Iyada oo lagu saleynayo hawlaha isbeddelada saynisyahannadu ay dhab ahaantii ku sameeyeen borotokoollada la daabacay, bartilmaameedku wuxuu siinayaa qiimeeyayaasha hab ay ku baaraan in nidaamka AI uu sabab uga dhigi karo isbeddellada maxalliga ah iyada oo aan lumin raadadka cawaaqibka hoose. Taasi waxay si toos ah u khusaysaa cilmi-baarayaasha isticmaalaya moodooyinka luqadda ee qorsheynta, dukumeentiyada, ama taageerada nidaamka.
Qodobbada miisaanka leh ayaa sidoo kale muhiim ah sababtoo ah isbeddellada borotokoolku waxay noqon karaan qayb sax ah iyadoo weli laga tagayo faahfaahin muhiim ah oo dambe. Jawaabtu waxay tilmaami kartaa beddelka muuqda laakiin ku guul darreysato inay hagaajiso tallaabada xigta, xaalad, tirada, ama xakamaynta. Isha ma bixinayso kala qaybinta noocyadan khaladaadka ah, laakiin naqshadeeda bartilmaameedka waxa loogu talagalay in laga dhigo kuwa muuqda oo aan la arki karin halkii jawaabaha lagu abaalmarin lahaa oo keliya in si fiican loogu dhawaaqo. Marka la eego si dhab ah, tani waxay ka caawin kartaa shaybaarada inay is barbar dhigaan nidaamyada shaqada ay dhab ahaantii u baahan yihiin in laga caawiyo, halkii ay ku tiirsanaan lahaayeen buundooyinka moodeelka ujeeddada guud. Natiijooyinka la soo sheegay ayaa tilmaamaya nusqaamaha awoodda xitaa ka mid ah nidaamyada ugu xooggan ee la tijaabiyay.
Dhibcaha ugu sarreeya ee caadiga ah ee 59.2% waa in aan loo akhriyin 59.2% heerka guusha ee tijaabooyinka shaybaadhka, sababtoo ah nuxurku waxa uu qeexayaa dhibcaha qoraalka halkii la dhammaystiri lahaa natiijooyinka tijaabada ah. Faafitaanka u dhexeeya buundooyinka ugu sarreeya iyo kuwa hoose ee la soo sheegay waxay soo jeedinayaan in doorashada moodeelku ay saameyn karto waxqabadka hawshan, laakiin isha ma dejiso sifooyinka moodeelka ee sharraxaya faraqa. Sidoo kale ma tusinayso in waxqabadka bartilmaameedku saadaaliyay badbaadada, dib u soo saarista, ama ansaxnimada sayniska ee ka baxsan borotokoolka la tijaabiyay.
Farsamaynta Is-dhexgalka: Sida Dhabta Ay U Shaqeyso
U baadh tignoolajiyada hoose ee ka dambeeya horumarkan si isdhexgal leh.
Which component of an AI application is the machine-learning model itself?
Maxaa la daawan doona xiga
Su'aalaha soo socdaa waa in bartilmaameedku si madaxbanaan loo soo saaray, sida moodalku u sameeyaan isbeddelada borotokoolka shakhsi ahaaneed, iyo haddii buundooyinka adagi ay u tarjumaan caawimaad badbaado iyo faa'iido badan shaybaarada dhabta ah. Isha ma cadda in nooc kasta oo la qiimeeyay uu si madaxbanaan u samayn karo tijaabooyin ama soo saari karo habab la ansaxiyay.
Talaabada xigta ee muhiimka ah waa baaritaanka tifaftiran ee bartilmaameedka buuxa iyo habka dhibcaha. Akhristayaashu waa inay raadiyaan qaybinta hawlaha sagaalka qaybood, tusaalayaal wax ka beddelka dhibcaha sare iyo hoose, aqoonsiga iyo noocyada dhammaan sagaal nooc, iyo curiyeyaasha shakhsi ahaaneed ee moodooyinka inta badan seegaya. Faahfaahintaasi waxay tusi doontaa haddii natiijadu ka tarjumayso xaddidaad ballaadhan oo ku saabsan la qabsiga borotokoolka ama tiro yar oo dhibaatooyin soo noqnoqda ah. Qoraalka isha kaliya kama jawaabo su'aalahaas.
Ku-noqoshada madax-bannaani waxay gacan ka geysan doontaa in la ogaado sida ay natiijooyinka u deggan yihiin. Jeegaga waxtarka leh waxaa ka mid ah dib-u-habaynta moodooyinka, tijaabinta qaabab degdeg ah oo kala duwan, cabbiridda kala duwanaanshaha isku dayada soo noqnoqda, iyo in la qiimeeyo in isla darajo la mid ah ay hayso borotokoollada laga reebay dhismaha bartilmaameedka. Sababtoo ah bartilmaameedku wuxuu ahaanayaa mid aan qancin toban isku day ka dib, shaqada mustaqbalka waa inay sidoo kale caddeysaa in muunad dheeri ah, qalab, soo saarid, ama dib u eegista bini'aadamku ay wax ka beddelaan waxqabadka. Natiijooyinkaas midkoodna laguma soo sheegin isha.
Su'aasha ugu saamaynta badan ayaa ah in buundooyinka bar-tilmaameedka ka wanaagsan ay u dhigmaan kaalmada shaybaarka ee ka wanaagsan. Qiimaynta mustaqbalka waxay is barbar dhigi kartaa talooyinka tusaalaha iyo wax ka beddelka khabiirku dib u eegay iyo, halka ay ku habboon tahay, ansaxinta tijaabada la xakameeyey. Shaqada noocan oo kale ah waxay u baahan doontaa inay kala soocdo saxnaanta qoraalka iyo guusha tijaabada ah waxayna u baahan doontaa ilaalin ku wareegsan khaladaadka. Hadda, BenchBench-Protocol waxay bixisaa caddayn ku saabsan jawaabaha moodeelka ee go'an ee hawlaha dhabta ah ee aduunka laga soo xigtay, ma aha caddaynta in nidaamyadani ay si badbaado leh wax uga beddeli karaan ama u fulin karaan hababka shaybaarka qoyan iyada oo aan la socon qof u qalma kormeerid.