Pada si Iroyin
AtunseAI Understanding finifini

Awọn Idanwo AutoWorldModel-Bench Boya Awọn Aṣoju Ifaminsi Le Mu Awọn awoṣe Agbaye dara si

Itẹwe tuntun arXiv kan ṣafihan ipilẹ ala kan fun iṣiro awọn aṣoju ifaminsi bi awọn oniwadi-ipin-ipin-aye-ipari jakejado awọn agbegbe ere mẹjọ, jijabọ awọn ilọsiwaju ni 63 ti awọn akoko 64.

6 min readRead the primary source
Source-provided image accompanying AutoWorldModel-Bench Tests Whether Coding Agents Can Improve World Models
Iwe aṣẹ orisun akọkọOrisun ti o gbasilẹ
Olutẹwe
arxiv.org
Orisun ọna asopọ
arxiv.orghttps://arxiv.org/abs/2608.11216
Orisun iru
Iwe akọkọ - ikede osise, iwe, iforukọsilẹ, tabi oju-iwe ẹgbẹ akọkọ ti a ka taara.
AtokọLoye eyi ni iṣẹju 60

Bẹrẹ nibi

Awọn ofin bọtini

Iyasọtọ
Iṣẹ-ṣiṣe nibiti awoṣe kan ti n fi igbewọle si ọkan tabi diẹ ẹ sii awọn ẹka ti a ti ni asọye.
Hyperparameter
Iye atunto ti a ṣeto ṣaaju ikẹkọ, gẹgẹbi oṣuwọn ikẹkọ, iwọn ipele, tabi ijinle.
Aṣepari
Idanwo idiwon tabi data ti a lo lati ṣe iwọn ati ṣe afiwe iṣẹ awoṣe.
Ṣe idanwo fun ara rẹAwọn awoṣe AI ti ṣalaye adanwo

Kini o ṣẹlẹ

Awọn oniwadi ṣafihan AutoWorldModel-Bench, aami-ipari-lupu kan ninu eyiti awọn aṣoju ifaminsi ṣe atunṣe ati ṣe iṣiro awoṣe agbaye ibẹrẹ labẹ isuna iṣiro ti o wa titi. Aṣepari naa nlo awọn ipinlẹ ere ti ilẹ-otitọ ti a ṣeto dipo igbewọle wiwo aise ati ki o bo awọn agbegbe ere mẹjọ. Awọn onkọwe jabo pe Codex-5.4 ati Claude Opus 4.6 ṣe ilọsiwaju awọn awoṣe ibẹrẹ wọn ni awọn akoko 63 ti awọn akoko 64, pẹlu 91% ti awọn atunṣe bori ti a ṣe apejuwe bi awọn iyipada ara-iwadi idaran dipo awọn atunṣe .

Iwe naa, ti a fi silẹ si arXiv ni Oṣu Keje Ọjọ 20, Ọdun 2026, ṣe afihan AutoWorldModel-Bench gẹgẹbi ala-ilẹ fun iwadii adaṣe awoṣe agbaye. O ṣe agbekalẹ awoṣe agbaye bi agbegbe ti ko yanju ninu eyiti faaji, ibi ikẹkọ, ati aṣoju ipinlẹ ṣe ajọṣepọ, laisi ohunelo kan ti iṣeto bi agbara lori awọn agbegbe. Aidaniloju yẹn jẹ aringbungbun si idi ala-ilẹ: aṣoju kii ṣe beere nirọrun lati ṣe imuse sipesifikesonu ti a ti pinnu tẹlẹ, ṣugbọn lati pinnu bii ibẹrẹ awoṣe-aye ti o pese yẹ ki o ni ilọsiwaju.

Aṣepari naa n ṣiṣẹ bi lupu pipade. Aṣoju ifaminsi gba eto ibẹrẹ kan, ṣe igbero ati imuse iyipada kan, ṣiṣe igbelewọn labẹ isuna iṣiro ti o wa titi, ati tẹsiwaju nipasẹ ilana iwadii. Awọn áljẹbrà sọ pe ala-ilẹ naa gbooro awọn agbegbe ere mẹjọ ati pe o duro fun agbegbe kọọkan nipasẹ ipo ohun-ini otitọ-ilẹ ti a fa jade lati inu ere naa. Awọn ipinlẹ yẹn jẹ iyipada si ọna kika tensor ti o pin, gbigba igbelewọn si idojukọ lori awọn adaṣe ayika awoṣe dipo lori iwo wiwo tabi imọ-ẹrọ ti o nilo lati ṣe ilana awọn aworan.

Ni awọn akoko 64, awọn onkọwe ṣe ijabọ pe Codex-5.4 ati Claude Opus 4.6 ṣe ilọsiwaju ibẹrẹ wọn ni awọn akoko 63. Áljẹbrà naa ko ṣe pato iwọn tabi pataki iṣiro ti awọn ilọsiwaju yẹn, bawo ni a ṣe pin awọn akoko laarin awọn ọna ṣiṣe meji, tabi boya awọn aṣoju ni a fun ni awọn ipo ibẹrẹ kanna. O tun ṣe ijabọ pe 91% ti awọn atunṣe ti o bori jẹ awọn iyipada ti ara iwadi ti kii ṣe bintin, pẹlu awọn iyipada si awọn ibi-afẹde, awọn aṣoju, awọn ilana ifilọlẹ, tabi awọn faaji, dipo awọn iyipada ti o rọrun.

Awọn abajade wọnyi fi idi ohun ti awọn onkọwe sọ pe o ṣẹlẹ laarin ala ti a royin, ṣugbọn orisun ti a pese jẹ oju-iwe alafojusi ati oju-iwe iwe-itumọ fun ẹyà-ọkan-ọkan arXiv preprint. Ko pese alaye ti o to nibi lati rii daju imuse ni ominira, ilana igbelewọn, awọn opin iṣiro, awọn idamọ ti awọn agbegbe mẹjọ, tabi awọn abajade ipele-ipele igba. Ko si ẹtọ ninu orisun ti o fihan pe boya aṣoju jẹ onimọ-jinlẹ adase ti o lagbara ni ita iṣeto yii.

Awọn alaye orisun: arxiv.org

Kini idi ti o ṣe pataki

Aṣepari naa fojusi aafo kan ninu awọn igbelewọn to wa: boya awọn eto AI le ṣe awọn ipinnu iwadii to wulo nigbati ọna si ilọsiwaju ko ni pato ni ilosiwaju. Apẹrẹ ipo-ipinle rẹ le jẹ ki awọn adanwo yiyara ati yasọtọ awọn adaṣe adaṣe lati inu iwoye, ṣugbọn o tun ṣe opin ohun ti awọn abajade n sọ nipa awọn aṣoju ti n ṣiṣẹ pẹlu data ifarako gidi-aye. Awọn awari ti o royin jẹ awọn ẹtọ lati inu iwe-tẹlẹ arXiv kan, kii ṣe ẹri ominira pe awọn aṣoju ifaminsi le ṣe iwadii igbẹkẹle ni gbogbogbo.

Pupọ awọn ipilẹ ifaminsi-oluranlọwọ n tẹnuba awọn iṣẹ-ṣiṣe imọ-ẹrọ-si-pato: ihuwasi ti o fẹ jẹ asọye ni ilosiwaju, ati aṣeyọri jẹ ọrọ pupọ ti iṣelọpọ imuse to pe. AutoWorldModel-Ijoko n ṣalaye agbara ti o yatọ. O beere lọwọ aṣoju kan lati ṣiṣẹ ni eto nibiti awọn oniwadi ko ti ṣalaye ilọsiwaju atẹle, ṣiṣe abajade ti o ni ibatan si bii awọn eto AI ṣe ṣe ipilẹṣẹ, ṣe idanwo, ati yan awọn idawọle imọ-ẹrọ.

Apẹrẹ aarin-ipinlẹ ala-ilẹ nfunni ni anfani wiwọn to wulo. Lilo ipo nkan ti eleto yago fun idiyele ati awọn oniyipada idarudapọ ti iwoye, eyiti arosọ sọ pe o jẹ ki awọn iterations ṣiṣẹ ni awọn iṣẹju. Yiyara aṣetunṣe le jẹ ki o rọrun lati ṣe afiwe awọn ilana iwadii, tun ṣe awọn adanwo, ati iwadi bii awọn aṣoju ṣe lo iṣiro to lopin. Aṣoju tensor ti o wọpọ le tun ṣe awọn iyatọ ninu awọn awoṣe adaṣe ti o han diẹ sii kọja awọn agbegbe pupọ.

Apẹrẹ yẹn tun jẹ aala pataki lori awọn awari. Awoṣe agbaye ti a kọ lati ipo otitọ-ilẹ ko yanju iṣoro ni kikun ti o dojukọ eto kan ti o gbọdọ ni oye ipo lati awọn kamẹra, ede, awọn sensọ, tabi awọn akiyesi ti ko pe. Awọn agbegbe ere n pese awọn esi iṣakoso ati awọn abajade opin, lakoko ti imọ-jinlẹ gidi ati awọn eto iṣẹ le fa awọn wiwọn ariwo, awọn adanwo gbowolori, awọn ibi-afẹde iyipada, ati awọn ihamọ ailewu. Ilana ti a royin nitorinaa ṣe iwọn agbara ti o dín ju iwadii adase gbogbogbo.

Oṣuwọn ijabọ iwe ti awọn atunṣe idaran jẹ alaye diẹ sii ju ilosoke Dimegilio ti o rọrun nitori o daba pe awọn aṣoju nigbakan yan awọn ayipada si iṣeto iwadii funrararẹ. Bibẹẹkọ, áljẹbrà naa ko ṣe asọye bi atunkọ ṣe jẹ ipin bi kii ṣe bintin, boya awọn aṣayẹwo olominira ṣe idajọ yẹn, tabi iye igba ti iṣatunṣe eka kan ṣe agbekalẹ ilọsiwaju to tọ. Iyipada aṣeyọri ni agbegbe iṣakoso kan jẹ ẹri ti iṣẹ ṣiṣe ala, kii ṣe ẹri pe aṣoju kan loye imọ-jinlẹ abẹlẹ tabi o le ni igbẹkẹle ṣe iyatọ awọn idawọle ti iṣelọpọ lati awọn anfani lairotẹlẹ.

Interactive Mechanism

Ibaraẹnisọrọ Mechanism: Bii O Ṣe Nṣiṣẹ Lootọ

Ṣawari imọ-ẹrọ abẹlẹ lẹhin idagbasoke yii ni ibaraenisọrọ.

Agent Lifecycle Stage:
1
User Intent & Planning: "Audit customer refund request #4092 and settle payment."
2
Tool Calling: Emits structured JSON call crm_get_transaction(id='4092').
3
Guardrail & Verification:🛡️ Paused: High-value action requires human operator sign-off.
4
Final Settlement: Refund recorded, email receipt dispatched, and audit log stored.
Core takeaway: An AI agent is not just a language model—it is a closed loop of planning, tool invocation, and environment feedback. Production systems require self-healing retries and strict human approval guardrails.
Ibanisọrọ Erongba Ṣayẹwo+10 Points
AI Models Explained Quiz

What is the best response when AI Models Explained makes a mistake in production?

Kini lati wo tókàn

Awọn ibeere pataki ni boya ala-ilẹ naa jẹ atunṣe, bawo ni awọn ilọsiwaju tiwọn ṣe tobi, ati boya awọn abajade wa kọja awọn aṣoju afikun, awọn agbegbe, awọn isuna iṣiro, ati awọn awoṣe ibẹrẹ. Awọn oluka yẹ ki o tun wa awọn alaye nipa ilana igbelewọn, awọn akoko ti o kuna, yiyan satunkọ, ati eyikeyi eniyan tabi awọn ipilẹ iṣapeye ti aṣa. Orisun naa ko ṣe agbekalẹ bii awọn ọna wọnyi ṣe gbe kọja awọn agbegbe ere tabi boya awọn iyipada awọn aṣoju wa wulo labẹ awọn aṣoju oriṣiriṣi ati awọn ipo igbelewọn.

Reproducibility yoo jẹ akọkọ igbeyewo. Awọn alaye to ṣe pataki pẹlu awọn awoṣe agbaye alakọbẹrẹ gangan, awọn agbegbe mẹjọ, eto ipinlẹ ti o wọpọ, isuna iṣiro, nọmba awọn itọsi ti a gba laaye, ati metiriki igbelewọn. Yoo tun ṣe pataki boya ala-ilẹ ati awọn iwe idanwo pipe wa ni gbangba, nitori awọn iṣeduro apapọ gẹgẹbi awọn ilọsiwaju 63 ninu awọn akoko 64 le tọju awọn iyatọ nla ninu awọn anfani, iṣoro, tabi awọn ipo ikuna.

Awọn igbelewọn ọjọ iwaju yẹ ki o jabo awọn afiwera ju awọn ọna ṣiṣe meji ti a darukọ ninu áljẹbrà. Awọn idari to wulo yoo pẹlu awọn oniwadi eniyan, wiwa adaṣe adaṣe adaṣe, awọn iṣẹ ṣiṣe iwadi ti o wa titi, ati awọn aṣoju ifaminsi afikun. Awọn abajade yẹ ki o pinya nipasẹ agbegbe ati nipasẹ iru atunṣe, pẹlu titobi ati aidaniloju ti ilọsiwaju kọọkan ti o han. Laisi awọn afiwera wọnyẹn, o nira lati mọ boya ala-ilẹ ṣe iwọn idajọ iwadii, agbara ifaminsi gbooro, eto iṣẹ ṣiṣe ti o wuyi, tabi akojọpọ kan.

Ipinsi awọn atunṣe aṣa-iwadii yẹ ayẹwo. Itumọ-itumọ, ibi-afẹde, aṣoju, ati awọn iyipada yiyi le jẹ itumọ, ṣugbọn idiju nikan ko ṣe afihan oye. Iṣẹ atẹle yẹ ki o ṣe idanwo boya awọn iyipada ti o yan jẹ gbogbogbo si awọn agbegbe ti o waye, ye awọn iyipada si awoṣe ibẹrẹ, ati tẹsiwaju lati ṣe nigbati isuna iṣiro tabi aaye iṣe ba yipada. O yẹ ki o tun tọpa awọn atunṣe ati awọn imọran ti o kuna, kii ṣe atunṣe ti o bori nikan lati igba kọọkan.

Nikẹhin, awọn oluka yẹ ki o wo fun ẹri nipa gbigbe si awọn eto iṣakoso ti o dinku. Orisun naa ko ṣe agbekalẹ iṣẹ ṣiṣe pẹlu awọn akiyesi wiwo, alaye apa kan, awọn eto ti ara, awọn iwe data ijinle sayensi, tabi awọn iṣẹ-ṣiṣe nibiti awọn idanwo gbe awọn idiyele gidi. Ko tun koju awọn aabo, atunṣe ti koodu ti ipilẹṣẹ aṣoju, tabi eewu ti aṣoju kan lo awọn quirks ni ala-ilẹ kan. Titi di idahun awọn ibeere wọnyẹn, AutoWorldModel-Bench jẹ oye ti o dara julọ bi ohun elo iwadii idojukọ fun kikọ ilọsiwaju awoṣe ti o ṣii, dipo bi iṣafihan ti iwadii imọ-jinlẹ adase ti o gbẹkẹle.

Awọn itọsọna ti o jọmọ & awọn ibeere

Awọn awoṣe AI ti ṣalayeAwọn aṣoju AIAI IkẹkọỌjọ́ Iwájú AIṢe idanwo ohun ti o mọ — gbiyanju idanwo AI ọfẹ kanWa ọrọ AI kan ninu iwe-itumọ wa
Ṣe eyi wulo?