Kini o ṣẹlẹ
Atẹjade iṣaaju arXiv kan ṣafihan K-Bench 01, igbelewọn ti awọn awoṣe iwaju iwaju AI mẹsan mimu awọn ibeere imọ-jinlẹ akọkọ 1,602 ti a ṣe ayẹwo lati ijabọ olumulo laaye lori oju opo wẹẹbu K-Dense. Awọn ibeere naa pẹlu awọn iṣẹ-ṣiṣe ti a ko ni pato ati awọn asomọ ati pe wọn ṣiṣẹ opin si ipari ni awọn apoti iyanrin kanna, lẹhinna gba wọle nipasẹ awọn adajọ awoṣe-ede afọju mẹta kọja rubric onisẹpo mẹjọ.
Awọn onkọwe ṣe apejuwe K-Bench 01 gẹgẹbi igbelewọn ti a ṣe lati awọn ibeere titan-akọkọ ti a ṣe ayẹwo lati ijabọ olumulo laaye lori K-Dense Web. Ko dabi awọn aṣepari ti o da lori awọn ibeere yiyan-ọpọlọpọ, awọn iṣẹ ṣiṣe ti a ṣe pẹlu awọn solusan itọkasi, tabi awọn simulators pẹlu awọn ofin ti a mọ, awọn ibeere wọnyi jẹ apejuwe bi aibikita, ti o lagbara lati gbe awọn asomọ, ati aini awọn idahun otitọ-ilẹ. Apẹrẹ yẹn jẹ ki ala-ilẹ sunmọ awọn ipo eyiti awọn olumulo onimọ-jinlẹ le beere lọwọ aṣoju AI kan fun iranlọwọ, botilẹjẹpe orisun ko pese ibeere kikun ti a ṣeto sinu ọrọ ti a pese.
Iwadi na ran awọn awoṣe aala mẹsan ti opin lati pari ni awọn apoti iyanrin kanna ati awọn ijabọ 1,602 ti o pari aṣoju nṣiṣẹ. Awọn onidajọ awoṣe-ede afọju mẹta gba wọle gbogbo ṣiṣe lodi si rubric onisẹpo mẹjọ. Iwe naa ṣe alaye oran 8 rubric bi iṣẹ onimọ-jinlẹ agbegbe kan yoo gba pẹlu awọn atunṣe kekere. Lori boṣewa yẹn, awọn onkọwe ṣe ijabọ pe ko si awoṣe ti o sọ laini naa labẹ gbogbo awọn onidajọ mẹta.
Afoyemọ naa n ṣe idanimọ gpt-5.6-sol bi nini iwọn apapọ apapọ ti o ga julọ, 8.04, pẹlu aarin 95% ti 7.80 si 8.23. Àárín àkókò yẹn gùn dé ẹnu ọ̀nà àbáwọlé, àti méjì nínú àwọn adájọ́ mẹ́tẹ̀ẹ̀ta náà wà ní ipò claude-opus-5 àkọ́kọ́. Fun idi yẹn, awọn onkọwe ṣe itọju aṣẹ ti awọn eto bi abajade atunṣe diẹ sii, lakoko ti o ṣe apejuwe ipele pipe ati oke ti tabili bi o da lori ohun elo igbelewọn ati ti ko yanju, lẹsẹsẹ.
Kọja 39,934 awọn idajọ ti o gba wọle, laisi awọn sẹẹli ti o samisi ko wulo, 47.6% ṣubu ni isalẹ iloro-8-point. Orisun naa sọ pe lapapọ pẹlu awọn iwọn iwọn mẹjọ pẹlu Dimegilio gbogbogbo gbogbogbo fun igbelewọn kọọkan. O tun ṣe ijabọ aafo laarin iṣedede ijinle sayensi, eyiti o jẹ aropin 6.22, ati ibaraẹnisọrọ, eyiti o jẹ aropin 7.33, pẹlu itọsọna kanna ti a ṣe akiyesi laarin gbogbo awọn awoṣe mẹsan. Overclaiming wà asiwaju ikuna tag, han lori 31.4% ti awọn igbelewọn.
Awọn alaye orisun: arxiv.org ↗
Kini idi ti o ṣe pataki
Aṣepari naa n ṣalaye ailera ti o wulo ni ọpọlọpọ awọn igbelewọn AI: iṣẹ imọ-jinlẹ nigbagbogbo ko ni idahun itọkasi kan ati pe o gbọdọ ṣe idajọ lori mejeeji iṣẹ ti a ṣe ati awọn ẹtọ ti a ṣe nipa rẹ. Awọn abajade rẹ daba pe didara ibaraẹnisọrọ le kọja iṣedede ti imọ-jinlẹ, lakoko ti ijẹju tun jẹ eewu nla fun awọn eto ti a lo ninu ṣiṣan iṣẹ ṣiṣe iwadii.
Ilowosi aarin K-Bench jẹ ọna-ọna bii afiwera. Iranlọwọ imọ-jinlẹ kii ṣe ibeere nigbagbogbo pẹlu okun to pe bi idahun. Eto ti o wulo le nilo lati tumọ ibeere ti ko pe, ṣiṣẹ pẹlu awọn ohun elo ti a pese, ṣe agbejade awọn ohun-ọṣọ, ṣalaye awọn idiwọn, ati yago fun ẹtọ diẹ sii ju awọn atilẹyin ẹri rẹ lọ. Awọn ala-ilẹ ngbiyanju lati ṣe Dimegilio iṣẹ ṣiṣe apapọ dipo idinku rẹ si iwọn idahun-ipeye kan.
Aafo ibaraẹnisọrọ deede ti o royin jẹ abajade fun awọn olumulo iwadii. Aṣoju le ṣafihan prose ti o han gbangba lakoko ti o tun jẹ alailagbara ti imọ-jinlẹ tabi awọn iṣeduro atilẹyin ti ko to. Orisun naa ko fi idi rẹ mulẹ pe eyikeyi awoṣe kan pato ti o fa ipalara tabi pe ala naa sọ asọtẹlẹ awọn oṣuwọn ikuna gidi-aye, ṣugbọn o ṣe idanimọ ipo ikuna ti o ṣe pataki nibikibi ti itupalẹ ti ipilẹṣẹ AI ti kọja si awọn onimọ-jinlẹ, awọn onimọ-ẹrọ, awọn aṣayẹwo, tabi awọn oluṣe ipinnu.
Abajade overclaiming jẹ pataki pataki si abojuto. Ti alaye eto kan ba dun didan diẹ sii ju awọn atilẹyin iṣẹ abẹlẹ lọ, awọn olumulo le ni iṣoro lati mọ nigbati o nilo iṣayẹwo afikun. Itọkasi K-Bench lori pinpin apapọ ti ohun ti a fi jiṣẹ, ohun ti a sọ, ati eyiti a ṣe agbejade awọn ohun-ọṣọ pese fireemu ti o wulo diẹ sii fun iṣiro awọn aṣoju ju igbimọ adari nikan, ni ibamu si awọn onkọwe.
Awọn abajade tun ṣe deede awọn iṣeduro gbooro nipa imurasilẹ awọn awoṣe aala fun iṣẹ ijinle sayensi. Lori rubric yii ati labẹ awọn ipo idanwo wọnyi, orisun sọ pe ko si awoṣe nigbagbogbo ti o de laini gbigba ti a sọ kọja gbogbo awọn onidajọ mẹta. Iyẹn ko fihan pe awọn eto naa ko lagbara fun iranlọwọ imọ-jinlẹ to wulo; o fihan pe apewọn gbigba iwe naa ko ni igbẹkẹle pade kọja igbelewọn yii. Iyatọ naa ṣe pataki nitori iwadi naa jẹ iwe-tẹlẹ ati pe ẹri rẹ ni opin si ala ti a ṣapejuwe.
Ibaraẹnisọrọ Mechanism: Bii O Ṣe Nṣiṣẹ Lootọ
Ṣawari imọ-ẹrọ abẹlẹ lẹhin idagbasoke yii ni ibaraenisọrọ.
crm_get_transaction(id='4092').An agent must create a draft calendar event for Tuesday at 2 p.m. Which evidence would establish the requested result?
Kini lati wo tókàn
Ipele iwe-iwe kii ṣe iwọn idiwọn ti didara awoṣe. Awọn onkọwe sọ pe aṣẹ ti awọn eto jẹ atunṣe diẹ sii ju awọn ikun pipe, ati pe ipo ti o ga julọ ko ni ipinnu. Iyẹwo siwaju sii yẹ ki o dojukọ lori apẹẹrẹ ibeere, awoṣe ati awọn idamọ idajo, apẹrẹ rubric, awọn ipo iyanrin, ati boya awọn oluyẹwo ominira ṣe ẹda awọn awari.
Atunṣe ominira yẹ ki o ṣe ayẹwo boya awọn awari K-Bench wa ni ita ijabọ oju opo wẹẹbu K-Dense ti a ṣe ayẹwo. Orisun ti a pese ko sọ iye awọn olumulo ti o ṣe alabapin awọn ibeere, bawo ni a ṣe yan awọn ibeere, iru awọn agbegbe ijinle sayensi ti wọn bo, bawo ni a ṣe mu awọn asomọ, tabi boya apẹẹrẹ ṣe afihan iṣẹ iwadii aṣoju. Awọn aimọ wọnyẹn ni ipa lori bii awọn abajade le ṣe lo ni fifẹ.
Awọn idanimọ ati awọn atunto ti gbogbo awọn awoṣe idanwo mẹsan ni a ko fun ni ọrọ orisun. Awọn orukọ áljẹbrà gpt-5.6-sol ati claude-opus-5 ṣugbọn ko ṣe atokọ awọn ọna ṣiṣe miiran, awọn ẹya wọn, awọn ipo iraye si, awọn igbanilaaye irinṣẹ, awọn opin agbegbe, tabi idiyele ati awọn ihamọ lairi. Awọn alaye wọnyẹn le ni ipa lori atunṣe mejeeji ati itumọ iṣe.
Lilo awọn adajọ awoṣe afọju mẹta jẹ agbegbe miiran lati ṣe ayẹwo. Orisun naa ko ṣe idanimọ awọn awoṣe onidajọ, ṣe alaye bi wọn ṣe ṣe iwọntunwọnsi, ṣe ijabọ awọn iṣiro adehun adehun, tabi ṣapejuwe bi a ti yanju awọn ariyanjiyan. Nitoripe iwe funrararẹ sọ pe awọn ikun pipe jẹ awọn abuda ti ohun elo, iṣẹ iwaju yẹ ki o ṣe idanwo boya awọn onimọ-jinlẹ agbegbe eniyan ati awọn ilana idajọ miiran ṣe awọn ipinnu kanna.
Atẹle ti o wulo julọ ala-ilẹ le jẹ iṣayẹwo ipele-artifact kuku ju ipo apapọ apapọ miiran lọ. Awọn oniwadi ati awọn olupolowo yẹ ki o wa awọn igbelewọn ti o ṣayẹwo lọtọ titọ imọ-jinlẹ, lilo ẹri, aidaniloju, ibaraẹnisọrọ, ati gbigbaju kọja awọn aaye oriṣiriṣi ati awọn ipari iṣẹ-ṣiṣe. Iwe naa ko ṣe ijabọ awọn abajade imuṣiṣẹ, igbẹkẹle olumulo, tabi awọn iwadii imọ-jinlẹ gidi-aye, nitorinaa awọn ipa iṣeṣe yẹn jẹ aimọ.