Kini o ṣẹlẹ
MarkTechPost ṣe ijabọ pe awọn oniwadi lati Meta FAIR, Ile-ẹkọ giga ti Oxford ati University College London ṣafihan Awọn awoṣe Iyanfẹ Iwadi AI, tabi awọn RPM, fun yiyan iru awọn adanwo ti aṣoju iwadii AI yẹ ki o ṣiṣẹ. Lori igbelewọn AIRS-Bench ti a royin, awọn RPM ni ilọsiwaju awọn ikun deede deede ati de ipilẹ-aṣayan laileto ni aijọju awọn wakati 15 dipo 24.
MarkTechPost ṣe ijabọ pe awọn RPM ṣe ipo awọn adanwo oludije ti ko ṣiṣẹ dipo asọtẹlẹ awọn ikun pipe wọn. Eto ti a royin naa nlo apẹrẹ itankalẹ-igi wiwa igi ti a pe ni AIRA-dojo. Ohun oluranlowo gbogbo 15 oludije omo ni ni afiwe, afiwe wọn pairwise ni a knockout figagbaga, ati ki o ṣiṣẹ nikan awọn Winner. Awọn afiwera lo awọn apa ibi ti a ṣawari tẹlẹ ati awọn ikun afọwọsi wọn.
Nkan naa ṣe apejuwe awọn iyatọ meji. Ipinnu-nikan RPM ṣe idajọ awọn ero oludije, koodu ati itan-akọọlẹ wiwa pẹlu awoṣe ede ti a ti kọkọ tẹlẹ ti tutunini. RPM aṣoju tun nṣiṣẹ awọn adanwo awakọ kekere ni agbegbe cloned ti o ni H200 GPU kan, ni lilo Python, bash ati ohun elo ifisilẹ kan. MarkTechPost Ijabọ pe oluṣowo aṣoju ni a lo fun Akọpamọ ati Imudara awọn igbesẹ, lakoko ti yiyan yokokoro tun pada si laileto nitori awọn awakọ ọkọ ofurufu jẹ isuna akoko aṣoju naa.
Lori AIRS-Bench, eyiti MarkTechPost ṣapejuwe bi o ni 20 ọrọ ti gbogbo eniyan ati awọn iṣẹ ṣiṣe tabular, apapọ awọn iṣiro deede ti a royin jẹ 0.684 fun yiyan laileto, 0.711 fun itọkasi-nikan RPM ati 0.729 fun RPM aṣoju. Iṣeto naa ni iroyin lo Qwen3.6-27B fun awọn oniṣẹ idanwo mejeeji ati awọn RPM, pẹlu awọn irugbin 10 ati awọn wakati 24 lori H200 kan fun iṣẹ-ṣiṣe kan.
MarkTechPost ṣe ijabọ pe awọn iyatọ RPM mejeeji de ipilẹ-aṣayan laileto ni bii wakati 15: awọn wakati 14.88 fun itọkasi-nikan ati awọn wakati 15.50 fun yiyan aṣoju. Nkan naa tun ṣe ijabọ awọn abajade ti 94.1% lori WinoGrande ati 95.7% lori SVAMP, ti n ṣapejuwe wọn bi awọn abajade tuntun-ti-ti-aworan. Awọn isiro ati awọn afiwera jẹ awọn ẹtọ ninu ijabọ ti a pese, kii ṣe awọn abajade ti a fọwọsi ni ominira.
Nkan naa sọ pe AIRA-dojo scaffold ati AIRS-Bench jẹ orisun ṣiṣi ati pe Qwen3.6-27B wa bi awọn iwuwo ṣiṣi. Ko pese ọna asopọ iwọle taara, awọn ofin iwe-aṣẹ, iṣẹ ti a gbalejo, awọn alaye atilẹyin iṣowo tabi idiyele. Ohun elo ti a pese ko tun fi idi rẹ mulẹ pe eto naa ti ṣetan fun lilo iṣelọpọ gbogbogbo.
Awọn alaye orisun: marktechpost.com ↗
Kini idi ti o ṣe pataki
Ti awọn abajade ti a royin ba dimu, yiyan awọn adanwo ṣaaju ipaniyan le jẹ ki iwadii iranlọwọ AI ṣe iṣiro-daradara. Awọn ona adirẹsi a ilowo bottleneck: iwadi òjíṣẹ le se ina ọpọlọpọ awọn adanwo oludije, ṣugbọn igbeyewo kọọkan ọkan jẹ gbowolori. Ẹri naa wa ni opin si ala ti a royin ati pe ko ti ni idaniloju ni ominira ninu ohun elo ti a pese.
Iṣẹ ti a royin naa fojusi iṣoro ipin-orisun kan ni iwadii AI dipo kiki imudarasi Dimegilio ala ala awoṣe kan. Aṣoju ti o le ṣe agbejade awọn imọran diẹ sii ju ẹgbẹ kan le ni anfani lati ṣe idanwo nilo ọna igbẹkẹle lati pinnu iru awọn adanwo yẹ iṣiro. Ipele yiyan le ni ipa lori iṣelọpọ iwadi, ni pataki nibiti ikẹkọ tabi ṣiṣe ṣiṣe gba awọn wakati tabi awọn ọjọ.
Ifiwewe ti a royin ni imọran pe diẹ ninu awọn anfani wa lati yiyan laarin awọn oludije, nitori pe ẹhin Qwen3.6-27B kanna ni a lo fun awọn oniṣẹ idanwo ati awọn RPM. MarkTechPost ṣe ijabọ 6.0% ilosoke ojulumo lati 0.684 si 0.711 fun yiyan-ipinnu nikan ati 6.6% ilosoke si 0.729 fun yiyan aṣoju, ṣugbọn nkan ti a pese ko pese awọn alaye ilana ti o to lati ṣe ayẹwo agbara iṣiro kọja awọn aarin igbẹkẹle ti a sọ.
Awọn ifilelẹ ti o nilari wa. AIRS-Bench ni wiwa 20 ọrọ ti gbogbo eniyan ati awọn iṣẹ ṣiṣe tabular, ati awọn idanwo naa lo iṣeto H200 kan, nitorinaa awọn awari le ma gbe lọ si awọn eto iwadii nla, ohun elo miiran tabi awọn aaye imọ-jinlẹ. Ijabọ naa ko pese ẹda ominira, iwadii ọran imuṣiṣẹ tabi ẹri pe ọna naa ṣe ilọsiwaju awọn iwadii gidi-aye dipo awọn abajade ala.
Ibaraẹnisọrọ Mechanism: Bii O Ṣe Nṣiṣẹ Lootọ
Ṣawari imọ-ẹrọ abẹlẹ lẹhin idagbasoke yii ni ibaraenisọrọ.
crm_get_transaction(id='4092').An agent must create a draft calendar event for Tuesday at 2 p.m. Which evidence would establish the requested result?
Kini lati wo tókàn
Ṣọra fun iwe abẹlẹ, koodu ati awọn ohun-ọṣọ ala; atunkọ lori awọn iṣẹ-ṣiṣe afikun; ati ẹri nipa boya awọn anfani duro pẹlu o yatọ si awọn awoṣe, awọn oniṣẹ, hardware ati iwadi ibugbe. Wọle si awọn paati orisun-ìmọ ti o royin jẹ apejuwe, ṣugbọn idiyele, wiwa ti gbalejo ati atilẹyin iṣelọpọ ko ni akọsilẹ.
Ayẹwo atẹle ti o wulo julọ ni boya awọn oniwadi ṣe atẹjade iwe abẹlẹ, imuse ati awọn akọọlẹ igbelewọn, ati boya awọn ẹgbẹ ita tun ṣe awọn ikun ti a royin ati awọn ifowopamọ akoko. Ijabọ ti a pese tọka si awọn paati orisun ṣiṣi ṣugbọn ko ṣe idaniloju wiwa tabi lilo wọn ni ominira.
Awọn igbelewọn ọjọ iwaju yẹ ki o ṣe idanwo awọn awoṣe ẹhin oriṣiriṣi, awọn ọna iran oludije, awọn idile iṣẹ-ṣiṣe ati awọn isuna iṣiro. Apẹrẹ aṣoju ti o royin tun nlo awọn adanwo awakọ kukuru kukuru ati eto isuna ti o ku lati mọọmọ ṣoki, awọn yiyan ti o le ni agba awọn abajade ati yẹ idanwo labẹ iṣiro awọn orisun lasan.
Awọn olumulo ti o pọju yẹ ki o tọju awọn irinṣẹ ti a royin bi awọn paati iwadii, kii ṣe bi ọja iṣowo ti a gbasilẹ. Orisun ko funni ni idiyele, awọn ofin ipele-iṣẹ, awọn ibeere fifi sori ẹrọ tabi alaye wiwa gbogbogbo. Ko tun ṣe afihan boya awọn RPM le mu awọn adanwo mu lailewu ti awọn ikuna wọn jẹ idiyele tabi ti awọn metiriki afọwọsi jẹ aigbagbọ.
WinoGrande ti o royin ati awọn abajade SVAMP iṣeduro iṣeduro lodi si awọn ipilẹ ti a tọka ṣaaju. Nkan naa ko pese idanwo ominira, alaye iṣiro iṣiro tabi alaye ti o to lati pinnu bi awọn anfani wọnyẹn ṣe gbogbogbo.