Pada si Iroyin
AtunseAI Understanding finifini

Iwe yoo fun ni awọn idiwọn deede fun didaṣe awọn eto AI ti o yan ohun ti o dara julọ ti ọpọlọpọ awọn abajade

Iwe arXiv tuntun kan jiyan pe atunwi awọn idanwo kanna le dinku ariwo iṣapẹẹrẹ laisi iṣafihan awọn aaye afọju ni ifọwọsi AI. O n gba awọn idiwọn deede fun wiwa-ti-N ti o dara julọ ati awọn igbero apapọ agbegbe igbekalẹ pẹlu awọn iṣẹ-ṣiṣe ominira.

5 min readRead the primary source
Source-page capture accompanying Paper gives exact limits for validating AI systems that select the best of many outputs
Iwe aṣẹ orisun akọkọOrisun ti o gbasilẹ
Olutẹwe
arxiv.org
Orisun ọna asopọ
arxiv.orghttps://arxiv.org/abs/2608.21496
Orisun iru
Iwe akọkọ - ikede osise, iwe, iforukọsilẹ, tabi oju-iwe ẹgbẹ akọkọ ti a ka taara.
AtokọLoye eyi ni iṣẹju 60

Bẹrẹ nibi

Awọn ofin bọtini

Aṣepari
Idanwo idiwon tabi data ti a lo lati ṣe iwọn ati ṣe afiwe iṣẹ awoṣe.
Itọkasi
Ipin awọn idaniloju asọtẹlẹ ti o jẹ deede.
Ṣe idanwo fun ara rẹAwọn awoṣe AI ti ṣalaye adanwo

Kini o ṣẹlẹ

Atejade arXiv nipasẹ Ricardo Fitas ṣe agbekalẹ ilana mathematiki kan fun ifẹsẹmulẹ awọn eto AI ti o ṣe agbejade ọpọlọpọ awọn omiiran ati mu abajade ti o yan ṣiṣẹ. Abajade aarin rẹ jẹ awọn ifiyesi iid ti o dara julọ-ti-N, nibiti eto kan ṣe ayẹwo awọn yiyan N ti o yan ọkan ti o ga julọ. Iwe naa n gba iwọn gangan ti igbẹkẹle imuṣiṣẹ ti o ṣeeṣe ti o le duro lẹhin ti n ṣakiyesi igbẹkẹle nikan fun awọn iwọn wiwa kere.

Iwe naa ṣe apejuwe iṣeto kan pato ṣugbọn ti o ni ibatan si iṣeto AI-afọwọsi: eto AI kan n ṣe agbejade awọn omiiran, ṣe iṣiro ẹri, ati mu iṣẹjade kan ti o yan ṣiṣẹ. Onkọwe jiyan pe afọwọsi jẹ ibatan-ojulumo, afipamo pe ẹri ṣe atilẹyin imuṣiṣẹ nikan ni awọn itọsọna ti a ṣe ayẹwo ni otitọ nipasẹ awọn ilowosi ti o ṣe agbejade. Iwe naa ṣe aṣoju afọwọsi ati awọn ofin imuṣiṣẹ bi awọn kernels lori aaye igbẹkẹle, lẹhinna ṣe iwadi jiometirika aaye ti awọn ofin naa bo. Eyi jẹ ki iyatọ laarin wiwọn leralera ati awọn itọsọna igbelewọn tuntun nitootọ han gbangba.

Fun wiwa iid best-of-N, iwe naa dawọle ipo iwọn, awọn asopọ laileto, yiyan ti o pọju, otitọ alakomeji didi, ati ibatan iduroṣinṣin laarin ipo ati otitọ. Labẹ awọn arosinu yẹn, o funni ni iwọn aibikita gangan lẹhin ti n ṣakiyesi igbẹkẹle-ti o dara julọ nipasẹ n=m: B(m,N) = 1 + 2 ni igba apao lati r=1 si m ti (-1) ^r isodipupo nipasẹ cos^(2N)(rπ/[2(m+1)]). Orisun naa sọ pe awọn agbaye ti o ni opin ni gbangba le ni gbogbo aarin aarin ti o yọrisi, nitorinaa aidaniloju ko ṣe apejuwe lasan bi aala oke alaimuṣinṣin. Apejuwe pipe ti awọn akiyesi nipasẹ m tun gbekalẹ bi alaye-o pọju laarin awọn iṣayẹwo igbẹkẹle-itumọ ti fi si n≤m. Iwọn iṣakoso ti idanimọ nipasẹ iwe jẹ m²/N. Nigbati m ba ni iwọn si gbòngbo onigun mẹrin ti N, aibikita ti o ku jẹ nipa 0.83, ni ibamu si áljẹbrà. Idinku ambiguity si iwọn kan ti ε nbeere m lori aṣẹ ti root square ti N times log(1/ε).

Iwe naa tun ṣe ijabọ aṣọ-aala-isunmọ deede ati aibikita L/m² ti o ni aṣẹ ti o so labẹ ipo Lipschitz kan. Abala imuṣiṣẹ rẹ nlo awọn iwadii ifẹhinti ti ero mathematiki ati yiyan koodu lati kọ awọn iye imuṣiṣẹ ibaramu pẹlu ipinya nla. Orisun naa sọ pe ofin iṣayẹwo-iru kan di didi lori awọn iṣẹ ṣiṣe wiwa 82 dinku ni pataki aṣiṣe ti o waye, ṣugbọn o ṣe apejuwe awọn itupalẹ wọnyẹn bi apejuwe dipo awọn ilowosi ifojusọna.

Awọn alaye orisun: arxiv.org ↗

Kini idi ti o ṣe pataki

Ibeere iwulo akọkọ ti iwe naa ni pe awọn idanwo atunwi ko to nigbati wọn ṣayẹwo awọn itọsọna idasi kanna nikan. Atunṣe le dinku ariwo iṣapẹẹrẹ, ṣugbọn awọn iru iṣẹ ṣiṣe tuntun tabi awọn ilowosi ominira le nilo lati ṣafihan awọn aaye afọju igbekalẹ. Fun awọn aṣepari AI ati awọn iṣayẹwo ailewu, eyi n pese ọgbọn-oye fun ipinya agbegbe lati konge kuku ju atọju kika idanwo nla bi alaye agbaye.

Iwe naa nfunni ni alaye to peye fun idi ti Dimegilio giga lori ipilẹ ala ti o faramọ le kuna lati jẹri iṣẹ ṣiṣe nigbati eto imuṣiṣẹ ba yipada iye awọn omiiran ti o ṣe ipilẹṣẹ tabi bii o ṣe yan laarin wọn. Idanwo iru iṣẹ-ṣiṣe kanna leralera le mu igbẹkẹle pọ si ni iwọn iwọn, ṣugbọn o le fi aidaniloju silẹ nipa awọn apakan ti dada igbẹkẹle ti idanwo naa ko de. Ninu awọn iwe-ọrọ iwe, ẹda-pada dinku ariwo iṣapẹẹrẹ lakoko ti awọn itọnisọna ilowosi tuntun dinku ifọju igbekalẹ. Iyatọ yẹn jẹ pataki taara si awọn eto ti o wa lori ọpọlọpọ awọn idahun oludije, awọn ero, awọn iyipada koodu, tabi awọn iṣe ṣaaju yiyan ọkan.

Fun awọn olupilẹṣẹ awoṣe ati awọn oluyẹwo, ofin ẹnu-ọna meji ti a dabaa jẹ gbigbe ti o wulo julọ ni orisun. Ni akọkọ, iṣayẹwo yẹ ki o ṣe agbekalẹ agbegbe igbekalẹ: o yẹ ki o ṣe idanwo awọn itọsọna ti o ṣe pataki fun imuṣiṣẹ ti a pinnu, dipo ki o tun ṣe idile awọn iṣẹ-ṣiṣe dín nikan. Keji, awọn iṣẹ-ṣiṣe ominira le ṣe afikun lati mu ilọsiwaju sii ni kete ti a ti fi idi agbegbe mulẹ. Eyi ṣe apẹrẹ ala-ilẹ bi ibeere ti aṣoju mejeeji ati iwọn ayẹwo. O tun kilo lodi si itumọ awọn idanwo afikun bi idahun pipe si aidaniloju ti a ṣẹda nipasẹ yiyan tabi wiwa.

Abajade ko ṣe afihan pe eyikeyi awoṣe AI pato jẹ ailewu, ti ko ni igbẹkẹle, tabi ṣetan fun imuṣiṣẹ. O jẹ itupalẹ mathematiki ti wiwa asọye ati ilana afọwọsi, ti a ṣe afikun nipasẹ awọn apẹẹrẹ ifẹhinti. Orisun naa ko ṣe ijabọ imuṣiṣẹ iṣelọpọ, ile-iwosan tabi igbelewọn ti gbogbo eniyan, lafiwe pẹlu awoṣe iṣowo ti a darukọ, tabi igbelewọn ominira ti itupalẹ iṣẹ-ṣiṣe 82. Nitorinaa iye ti gbogbo eniyan wa ni ọna ti a dabaa ti ironu nipa iwe-ẹri ati apẹrẹ iṣayẹwo, kii ṣe ni ilọsiwaju ti iṣafihan fun eto gidi-aye kan pato.

Interactive Mechanism

Ibaraẹnisọrọ Mechanism: Bii O Ṣe Nṣiṣẹ Lootọ

Ṣawari imọ-ẹrọ abẹlẹ lẹhin idagbasoke yii ni ibaraenisọrọ.

Thinking Budget (Test-Time Tokens):1,024 tokens
Complex Accuracy79%Math & Code Logic
Latency3.2sTime to first full output
Inference Cost$0.0092Per query estimated
Reasoning StyleStep VerificationInternal chain depth
Active Thinking Trace:
1Deconstruct user problem into formal constraints
2Propose candidate hypotheses & step-by-step calculation
3Self-correction: Backtrack and refute subtle edge cases
4Exhaustive consistency check & final output synthesis
Core takeaway: Test-time compute fundamentally changes AI economics. Instead of only scaling during pre-training, giving reasoning models more tokens at inference time allows them to systematically solve PhD-level STEM problems.
Ibanisọrọ Erongba Ṣayẹwo+10 Points
AI Models Explained Quiz

Which component of an AI application is the machine-learning model itself?

Kini lati wo tókàn

Iṣẹ naa jẹ atẹjade arXiv kan ṣoṣo, ati pe orisun ko ṣe agbekalẹ atunyẹwo ẹlẹgbẹ, ẹda ominira, tabi isọdọmọ iṣẹ. Awọn iṣeduro ti o lagbara julọ lo si eto iid ti o dara julọ-ti-N ti a sọ ati si mimọ tabi awọn ekuro afọwọsi ifoju ni ominira. Iṣẹ siwaju yoo nilo lati ṣe idanwo ofin iṣayẹwo ni ifojusọna, ṣayẹwo awọn eto ti kii ṣe iid, ati pinnu bawo ni awọn idanwo agbegbe ti a dabaa ṣe gbe lọ si awọn imuṣiṣẹ gidi.

Ibeere iwadii lẹsẹkẹsẹ ni boya awọn oniwadi miiran le ṣe ẹda awọn aala deede ati awọn agbaye ti a ṣe agbedemeji, ṣayẹwo koodu ti a pese ati data ti a ṣe ilana, ati idanwo awọn arosinu lodi si awọn agbekalẹ yiyan ti wiwa-ti-N ti o dara julọ. Orisun naa sọ pe koodu ati data ti a ṣe ilana wa, ṣugbọn ọrọ ti a pese ko ṣe idanimọ ibi ipamọ tabi ṣe apejuwe awọn ohun elo ni alaye. Ipo atunyẹwo ẹlẹgbẹ ati ẹda ominira tun ko ni idasilẹ nipasẹ orisun. Awọn sọwedowo wọnyẹn ṣe pataki nitori awọn ipinnu iwe naa da lori awọn arosinu ati awọn asọye rẹ.

Ibeere keji ni bawo ni ilana ṣe huwa ni ita wiwa iid. Iwe naa ni kedere ṣe opin awọn iṣeduro jiometirika ti o gbooro si awọn kernel ti a mọ tabi ti a pinnu ni ominira. Awọn ọna ṣiṣe AI gidi le ṣe agbekalẹ awọn omiiran ti o ni ibatan, yi ihuwasi ipo wọn pada kọja awọn iṣẹ ṣiṣe, lo wiwa adaṣe, tabi ṣe ajọṣepọ pẹlu awọn irinṣẹ ati agbegbe. Orisun naa ko fi idi rẹ mulẹ pe iwọn aibikita ti o royin tabi ofin ẹnu-ọna meji gbejade laisi iyipada si awọn eto wọnyẹn. Awọn igbelewọn ifojusọna yoo nilo lati pinnu boya awọn idanwo idabobo le ṣe apẹrẹ ni igbẹkẹle ṣaaju imuṣiṣẹ ati boya wọn sọ asọtẹlẹ awọn ikuna lori awọn iṣẹ ṣiṣe tuntun nitootọ.

Lakotan, awọn oluyẹwo le wa awọn ilana iṣayẹwo ni pato ti o ṣe adaṣe iyatọ laarin agbegbe ati konge. Orisun naa ko ṣe pato atokọ gbogbo agbaye ti awọn iṣẹ-ṣiṣe ominira, ala ti a beere fun agbegbe igbekalẹ, tabi ofin ipinnu imuṣiṣẹ fun awọn ẹgbẹ. Awọn ẹkọ-ọjọ iwaju le ṣe afiwe idanwo leralera pẹlu awọn ifọkansi ti o yatọ, ṣe iwọn idiyele ti ọna kọọkan, ati jabo bii igbagbogbo ọna ti a dabaa ṣe iyipada ipari imuṣiṣẹ kan. Titi di igba naa, iwe naa jẹ itọju ti o dara julọ bi ilowosi deede si imọ-ẹrọ afọwọsi AI pẹlu ipilẹ iṣayẹwo ti o wulo, kii ṣe bii idiwọn iwe-ẹri.

Awọn itọsọna ti o jọmọ & awọn ibeere

Awọn awoṣe AI ti ṣalayeAI IkẹkọÌlànà Ìwà AIAwọn aṣoju AIṢe idanwo ohun ti o mọ — gbiyanju idanwo AI ọfẹ kanWa ọrọ AI kan ninu iwe-itumọ waTẹle olutọpa idasilẹ awoṣe AI
Ṣe eyi wulo?