Lu xew
MarkTechPost xamlena ni ay gestukat yu juge ci Meta FAIR, Daara bu kawe bu Oxford ak Daara bu kawe bu London dugalnañu ay xeetu tanneef ci ay gestu juntuwaay yu bees mbaa RPMs ngir tann ban jeego la asaasu gëstukat juntuwaay yu bees yi wara def. Ci evaluation biñ def ci AIRS-Bench, RPMs yi dañu yokk poñ yiñ normalisee ci diggante 15 waxtu ci palaasu 24.
MarkTechPost dafa wax ni RPM yi dañuy rang jàngat yiñ deful, duñu wax luy seen poñ absolu. Sistem biñ wax dafay jëfandikoo scaffold buy seetlu garab yu jëm kanam, ñu koy woowe AIRA-dojo. Benn ndawu liggéey dafay génne 15 xale yu am kàndidaa ci paralel, mu méngale leen ñaar-ñaar ci benn tournoi knockout, ba noppi ray ki jël raw-gàddu gi kese. Tegtale yi dañuy jëfandikoo node contexte yiñ njëkka banneexu ak seeni poñ yiñ am ci validation.
Muy fësal ñaari anam. RPM biy tënk rekk mooy àtte palaŋu kàndidaa yi, kod yi ak jaar-jaaru seetlu yi ci xeetu làkk buñ tàggat bu njëkk. RPM agent bi dafay amal ay gëstu pilote yu ndaw ci environmaa buñ klone bu am benn GPU H200, di jëfandikoo Python, bash ak jumtukaayu joxe. MarkTechPost dafa wax ni tànneefu agent bi dañu ko jëfandikoon ci jéego yu Draft ak Improve, ci noonu la tànneef Debug delloo ci anam wu bari ndax pilote yi dañu lekk budget agent bi.
Ci AIRS-Bench, bi MarkTechPost wax ni amna 20 mbind yu ñépp bokk ak liggéey tabular, poñ yiñ joxe ci normalisasioŋ ñu ngi nekkoon 0.684 ci tànneef yu bari, 0.711 ci RPM biy jël dogal kese ak 0.729 ci RPM biy liggéey. Dañu wax ni dafa jëfandikoo Qwen3.6-27B ngir operatëri jàngat yi ak RPM yi, ak 10 jiwwu ak 24 waxtu ci benn H200 ci liggéey bu nekk.
MarkTechPost dafa wax ni ñaari anam yi RPM yegg nañu ci tànneef ci 15 waxtu: 14.88 waxtu ngir tànneef kese ak 15.50 waxtu ngir tànneef agent. Muy wax itam ci 94.1% ci WinoGrande ak 95.7% ci SVAMP, di leen wax ni ay resultaa yu bees lañu. Yii lim ak méngale yi ay wax lañu ci rapoor biñ joxe, duñu ay resultaa yuñ firnde ci seen bopp.
Artikle bi dafa wax ni scaffold AIRA-dojo ak AIRS-Bench ay xët yu ubbeeku lañu, te Qwen3.6-27B mën nañu ko am ci diisaay yu ubbeeku. Du joxe lëkkalekaay bu jub, ay sàrti lisence, sarwis buñ dalal, ay leeral ci ndimbalu jënd ak jaay wala njëg. Materiaal biñ joxe itam firndewul ni sistem bi mën nañu ko jëfandikoo ci liggéey bi yépp.
Ay leeral ci cosaan: marktechpost.com ↗
Lu tax mu am solo
Sudee liñu joxe ci resultaa yi dëggu nañu, tanneef ci jàngat yi laataa ñu koy amal mën na tax gëstu bi IA jàppale gëna am njariñ ci wàllu ordinatër. Xeetu liggéey boobu dafay saafara jafe-jafe yi ci nekk: agent gëstukat yi mën nañu defar ay jàngat yu bari, waaye saytu bu nekk ci ñoom lu seer la. Firnde gi mingi yam ci biñ xamle te kenn firndelu ko ci dokimaa yiñ joxe.
Liggéey biñ xamle mingi sëgg ci jafe-jafe xaaj jumtukaay yi ci gëstu IA, du yam ci yokk poñ yi ñuy joxe ci benn model. Agent bi mëna defar ay xalaat yu ëpp li benn ekip mëna def ngir saytu, fàww mu am anam wu wóor wumu mëna tànnee ban jàngat moo yelloo ñu xayma ko. Kon tànneef bi mën na indi jafe-jafe ci njariñu gëstu bi, rawatina sudee tàggat yaram wala jàngat dafay jël ay waxtu wala ay fan.
Tegtale biñ wax dafay wane ni amna njariñ yu bawoo ci tànneef ci kàndidaa yi, ndax benn yaxu ndigg Qwen3.6-27B lañu jëfandikoon ngir operatëri jàngat yi ak RPM yi. MarkTechPost dafa xamle yokkute bu tollu ci 6.0% ci 0.684 ba 0.711 ngir tànneef ci kese ak yokkute bu 6.6% ci 0.729 ngir tànneef agent, waaye xët wiñ joxe joxeewul ay leeral yu doy ci njuréef ngir jàngat dëgëraay lim bi ginaaw diggante biñ wax.
Amna ay yam yu am solo. AIRS-Bench dafay wax ci 20 mbind yu ñépp bokk ak liggéey tablo, te jàngat yi jëfandikoo nañu benn tabb H200, kon li ñu gis mën nañu ko toxal ci prograami gëstu yu gëna mag, yeneen jumtukaay wala domen science. Rapport bi joxeewul benn réplication bu moom boppam, ab case study wala firnde ni approche bi dafay gëna baaxal gis-gis yi ci àdduna bi, moo gën njariñu référence yi.
Mekanism buy weccoo xalaat: naka lay doxee
Saytu xarala yu bees yi ci ginaaw yokkute bii ci anam wu weccoo xalaat.
crm_get_transaction(id='4092').An agent must create a draft calendar event for Tuesday at 2 p.m. Which evidence would establish the requested result?
Li nga wara seetaan ci topp
Xool bu baax këyit wi ci suuf, kode bi ak mbiri référence yi; baamtu ci yeneen liggéey; ak firnde ci ni benefiis yi di wéy ci yeneen model, operatër, hardware ak domen gëstu. Accès ci composant open-source yiñ rapoorte leeral nañu ko, waaye njëg yi, disponibilite biñ dalal ak ndimbalu production bi duñu ci bind.
Li gëna am solo mooy xool ndax gëstukat yi siiwal nañu këyitu liggéey bi, jëfandikoo gi ak jàngat yi, ak ndax ekip yi ci biti dañu siiwal poñ yiñ joxe ak sakkanal jotu liggéey bi. Rapport biñ joxe dafay wane composant open-source waaye du xool boppam ndax am nañu ko wala mën nañu ko jëfandikoo.
Evaluation yi ci kanam war nañu natt ay model yu bari ci yaxu ndigg, pexe yu ñuy defaree kàndidaa yi, famiy liggéey yi ak xayma budget yi. Design agent biñu wax itam dafay jëfandikoo ay pilote yu gàtt ak budget bu des buñu gëna yokk, tànneef yu mëna indi jafe-jafe ci resultaa yi te yelloo ñu natt ko ci kontabilite resource ordinaire.
Ñi nara jëfandikoo jumtukaay yi dañu wara jàppee jumtukaay yiñ rapoor ni ay pàccu gëstu, te bañ leen jàppee ni ay produit yuñ bind ngir jaay. Boroom këyit bi joxewul benn njëg, ay sartu niveau serwiis, ay sàrti instalaasioŋ wala ab kàddu buy wax ni disponibilite bi yépp a ngi ci. Wanewul itam ndax RPM yi mën nañu jëflante ak jàmm ci jàngat yu seen njuumte di seer lool wala yu seen metric validation wóorul dara.
Resultaa yiñ joxe ci WinoGrande ak SVAMP dañuy laaj ñu saytu ko bu baax ci li ñu njëkka wax. Artikle bi joxeewul ay test yu moom seen bopp, ay lim yu leer wala ay leeral yu doy ngir xam fu benefiis yooyu di yaatu.