Tilmaamaha aasaasiga ah
Wasakhaynta Benchmark
Wasakhaynta bartilmaameedku waxay dhacdaa marka su'aalaha ama jawaabaha laga helayo bartilmaameedka qiimayntu ay ku dhammaadaan xogta tababarka moodeelka, markaa buundada sare waxay ka tarjumaysaa xasuusin halkii ay ka ahaan lahayd karti dhab ah.
Dhageyso hagahanAI-waa laga sheekeeyay · ~3 min
Boggaan4 daqiiqo akhri
Dulmar
Waa arrin sababtoo ah nambarada sabuuradaha waxay wadaan sheegashada cilmi-baarista iyo go'aannada iibsashada, iyo buundooyinka wasakhaysan ayaa ka sarreeya sida uu model-ku u samayn doono dhibaatooyinka uusan waligiis arkin.
quusid qoto dheer
Noocyada luqadaha waaweyn waxaa lagu tababaray qoraalka cabirka webka oo ay ku jiraan GitHub, arXiv waraaqaha, golayaasha iyo goobaha waxbarashada. Halbeegyada caanka ah waa dad caam ahaan qaab ahaan, sidaa darteed su'aalahooda, jawaabahooda iyo doodahooda ayaa lagu koobiyayaa shabakada oo dhan waxaana lagu xaaqaa xogta tababarka. Wasakhdu waxay noqon kartaa mid toos ah, halka shayga saxda ah ee tijaabada ahi ka soo muuqdo, ama si dadban, iyada oo loo marayo eray bixin, tarjumaad, xal u qorid, ama xogta synthetic ee uu soo saaray nooc kale oo arkay bartilmaameedka. Waxa kale oo ay gali kartaa inta lagu guda jiro hagaajinta haddii xogta habaynta laga soo ururiyay ilo bartilmaameed u eg. Farqi faa'iido leh ayaa u dhexeeya in la arko su'aasha oo keliya iyo in la arko su'aasha jawaabteeda. Midda labaad waa dhaawac badan, sababtoo ah moodelku wuxuu dib u soo celin karaa jawaabta halkii uu ka shaqeyn lahaa. Natiijadu waa dhibco sicir barar ah oo aan u gudbin dhibaatooyin cusub. Wacyigelinta shaybaadhka maaha mid cusub. Warqadda GPT-3 (2020) waxay ku socodsiisay falanqaynta 13-gram ee isku dhafka ah ee udhaxeysa bartilmaameedkeeda iyo xogta tababarka waxayna qiratay in buggu uu meesha kaga tagay xoogaa isku-kordhin ah. Marka xogta tababarka la heli karo, raadinta isku dhafan ayaa ah hubinta tooska ah. Marka aysan ahayn, cilmi-baarayaashu waxay isticmaalaan habab aan toos ahayn: kicinta moodeelka bilawga shay tijaabo ah si loo eego haddii ay dhamaystirto inta kale ee afka ah; Hababka ka-qaybgalka xubinnimada sida Min-K% Prob (Shi iyo asxaabtiisa, 2023), kuwaas oo eegaya sida kalsoonida leh ee moodalku u saadaaliyo calaamadaha qoraalka; isbarbardhigga dhibcaha alaabta asalka ah ee ka dhanka ah kuwa dib loo qoray ama kuwa cusub ee u dhigma; iyo kala qaybsanaan waqti-ku-salaysan oo isbarbar dhigaya dhibaatooyinka la abuuray ka hor iyo ka dib joojinta tababarka. Laba fikradood oo khaldan ayaa caan ah. Marka hore, isku dhafka had iyo jeer ma keeno dhibco badan; Daraasadaha qaarkood waxay helayaan saameyn yar oo ku saabsan hawlaha qaarkood. Midda labaad, helista isku-darka saxda ah ma caddaynayso in halbeeggu nadiif yahay, sababtoo ah nuqullo la turjumay ama la turjumay ayaa xarriiqda isbarbar-dhigga dhaafay. Yaraynta waxaa ka mid ah tijaabooyinka gaarka ah ee la qabtay, xargaha canary-ga, jaangooyooyin joogto ah oo dib loo cusbooneysiiyay sida LiveBench iyo LiveCodeBench, filtarrada wasakheynta, iyo daabacaadda falanqaynta wasakhda oo ay weheliso natiijooyinka.
Dhaqangelinta Adduunka-dhabta ah
Dhibaatooyinka bartilmaameedka xisaabta ayaa dib loogu dhejiyaa golayaasha leh xalal la shaqeeyay; gurguurashada shabakadu waxay ururisaa boggagaas, iyo moodal lagu tababaray ka dib ayaa soo saara jawaabaha saxda ah, oo ay ku jiraan ereyada asalka ah.
Cilmi-baarayaasha Scale AI waxay qoreen GSM1k, dhibaatooyinka xisaabta fasalka-dugsiga ee cusub oo la mid ah GSM8K qaab ahaan iyo dhib ahaanba, waxayna heleen moodooyinka qaarkood ay si muuqata uga hooseeyeen qaybta cusub, calaamad muujinaysa ku habboonaanta heerka dadweynaha.
Halbeeg-beegtiyeedka taariikhiga ah ee dhib kastaa waxa ay tusinaysaa moodal xalinaya mashaakil aad uga badan oo la daabacay ka hor inta aan tababarka la joojin ka dib, kaas oo ah qaabka LiveCodeBench loo qorsheeyay in lagu soo bandhigo.
Howlaha weeyn ee kursiga keydka waxaa ka mid ah xarig canary u gaar ah si kooxaha xogtu ay u shaandheyn karaan dukumeenti kasta oo ku jira oo ka baxsan tababarka shirkadaha ka dibna hubiyaan in moodalku soo saari karo iyo in kale.
Mustaqbalka Wasakhaynta Benchmark
Ku dhaqanka qiimayntu waxa ay u wareegaysaa diyaarinta imtixaanada gaarka ah ama qayb gaar ah, jaangooyooyinka ku dara waxyaabo cusub waqti ka dib, iyo qiimeeyayaasha qolo saddexaad ee xukuma xogta imtixaanka. Taasi waxay abuurtaa xiisad dhab ah oo leh furfurnaan, maadaama halbeegyada dadweynaha ay fududahay in la soo saaro lana baaro. Daah-furnaan weyn oo ku saabsan xogta tababarka ayaa ka dhigi doonta hubinta wasakhda mid aad u fudud, laakiin horumariyayaal badan oo moodeel ah ma daabacaan faahfaahinta xogta oo dhan. Akhristayaashu waa in ay si taxaddar leh ula dhaqmaan dhibco kasta oo taagan oo ay ka raadiyaan natiijooyinka xogta cusub ama la hayo ka hor inta aysan gaarin gunaanad xooggan.
Ku dhaqangelinta
Maxay muhiim u tahay
- Go'aamo cad. Waxay kaa caawinaysaa inaad kala saartid sheegashooyinka farsamada cad iyo luqadda suuq-geynta.
- Qiimaha iyo miisaaniyada. Waxaad waydiin kartaa su'aalo fulineed oo wanaagsan ka hor inta aadan lacag ama waqti bixin.
- Kooxda iyo socodka shaqada. Kooxaha fahamka la wadaago waxay sameeyaan wax soo saar, siyaasad, iyo go'aano waxbarasho oo wanaagsan.
Iska ilaali
- Kooxo kala duwan ayaa laga yaabaa inay isla erey u isticmaalaan si kala duwan, marka hore u qeex baaxadda.
- Tilmaamaha ayaa u ekaan kara kuwo xooggan halka waxqabadka dhabta ah ee dunidu aanu sinnayn.
- In la iska indho tiro tayada xogta iyo qorshayaasha qiimayntu waxay inta badan abuurtaa natiijooyin jilicsan.
Tallaabooyinka xiga
- Ka bilow qeexidda luqadda cad ee natiijada aad u baahan tahay.
- Dooro hal cabbir guusha iyo hal xaalad guuldarro ka hor tijaabada.
- Ku orod duuliye yar oo wata xogta matale, ee ma aha bandhig muuqaal ah.
- Diiwaangeli halka faddaraynta Benchmark ay ku caawiso iyo meelaha hababka fudud ay ka fiican yihiin.
Sii wad Sahaminta
Warqad bilaash ah
Hel warbixinta maalinlaha ah ee AI
Saddex sheeko oo la xaqiijiyay oo AI ah maalin kasta oo shaqo ah, oo lagu qoray Ingiriis fudud. Bilaash had iyo jeer, aan xayaysiis lahayn.
Hal iimayl maalin kasta oo shaqo ah. Ka bax hal gujin. Marna ma iibinno ama ma wadaagno ciwaankaaga.
Is tijaabi
Take the Benchmark Contamination quiz
Fikrad degdeg ah oo ku saabsan jawaab kasta, iyo shahaado la wadaajin karo oo leh aqoonsi la xaqiijin karo markaad ka gudubto koorso.
Taageer waxbarashada AI bilaashka ah. AI Understanding waa 501(c)(3) aan faa'iido doon ahayn — xayaysiis la'aan, albaab lacag ah ma jiro, had iyo jeer. Samee deeq
Su'aalaha soo noqnoqda
Waa maxay faddaraynta Benchmark?
Wasakhaynta bartilmaameedku waxay dhacdaa marka su'aalaha ama jawaabaha laga helayo bartilmaameedka qiimayntu ay ku dhammaadaan xogta tababarka moodeelka, markaa buundada sare waxay ka tarjumaysaa xasuusin halkii ay ka ahaan lahayd karti dhab ah. Waa arrin sababtoo ah nambarada sabuuradaha waxay wadaan sheegashada cilmi-baarista iyo go'aannada iibsashada, iyo buundooyinka wasakhaysan ayaa ka sarreeya sida uu model-ku u samayn doono dhibaatooyinka uusan waligiis arkin.
Waa maxay faddaraynta bartilmaameedka?
Wasakhaynta macneheedu waxa weeye in moodelku uu arkay walxo tijaabo ah intii lagu jiray tababarka, markaa buundooyinkeedu waxay ka tarjumayaan xafidid.
Waa maxay ujeedada xadhkaha kanary-ga ee lagu daray hawlaha kursiga-weyn?
Aqoonsi gaar ah ayaa fududeynaya in la helo lagana saaro qoraalka bartilmaameedka ah ee corpora iyo in la baaro in moodalku xafiday iyo in kale.
Maxay daraasadda GSM1k soo jeedisay?
Hoos u dhaca mashaakilaadka cusub ee la jaanqaadaya qaab ahaan iyo dhibka ayaa tilmaamaya in lagu xad-gudbayo bartilmaameedka guud ee aan ahayn xirfadda xisaabta guud.
Waa maxay falanqaynta isku-dhafan ee waraaqda GPT-3 socodsiisay?
Qorayaasha GPT-3 waxay hubiyeen 13-garaam oo is dulsaaran waxayna qireen cilad ka tagtay qaar ka mid ah is dulsaaryada oo aan la saarin.
Waa maxay fikradda asaasiga ah ee Min-K% Prob?
Habka ayaa celcelis ahaan k boqolkiiba ugu hooseeya ee token log-probabilities; qoraalka la xafiday ayaa si aan caadi ahayn u sarreeya sababtoo ah wax yar oo ku jira ayaa la yaabay qaabka.
Sii wad waxbarashada
Tilmaamaha la xidhiidha
Tilmaamayaal badan ayaa loo doortay mawduucan