GUIDE teknik
Pass@k leeral nañu ko
Pass@k mooy probabilite bi benn ci k jéem yuñ jëlee ci benn model mëna saafara jafe-jafe, ñu koy faral di saytu ci def ay test yu nëbbu ci kod biñ defar.
Déglul tegtal biiIA-nettali · ~3 min
Ci xët wii4 simili jàng
Résumé
Dafa am solo ndax kode ak agent benchmarks dañu koy xamle saa yu nekk, te pass@10 wala pass@100 poñ mën na gëna rafet li jëfandikukat bi am ci benn jéem.
Plongeur bu xóot
Pass@k mingi juddoo ci gëstub dajale prograam, fu Kulal ak ay naataango jëfandikoo ko ci 2019 ngir liggéey pseudocode-to-code, mu dem ba nekk standard ci këyitu Codex bu 2021, bi dugal HumanEval, benn xeetu prograam buñ bind ak loxo. jafe-jafe. Jafe-jafe bu nekk model bi dafay bind benn fonction, te fonction bi duñu ko jàppee ni jub sudee jàll na test yu nëbbu yi. Pass@k dafay laaj: soo jëlee k échantillon, ban chance nga am benn ci ñoom mu jàll? Njortu référence bi mooy probabilite biñ jëlee ci jafe-jafe yépp. Xeetu xam-xam bi mooy defar k misaal ci jafe-jafe bu nekk, ba noppi xool ndax amna lu jàll, waaye xayma boobu dafa bari bruit. Codex këyit bi dafay defar n misaal, fu n gëna mag k (ci misaal 200), lim c yi jub, ba noppi xayma probabilite bi benn subset bu k misaal yi am benn misaal bu jub: 1 dindi C (n dindi c, k) xaaj ko C (n). Xaymakat bii amul benn par, te bariwul lumuy soppiku. Gaawaayu boole c/n ci 1 dindi (1 dindi p) ci k doole bi dafa jaarul yoon. Tamperatiiru jël misaal amna solo. Pass@1 mooy gëna baax ci tàngoor wu woyof, waaye pass@100 mooy gëna am njariñ ci tàngoor wu gëna rëy ndax xeetu misaal yu bari dañuy yokk saas yi benn ci ñoom mëna liggéey. Këyit yi dañuy faral di tànn tàngoor wu wuute ci k bu nekk. Referansu ndawu liggéey bi dafa yokk benn metrik buy mottali. Këyitu tau-bench bu bawoo ci Sierra (2024) dafa joxe leeral ci pass^k, muy lu mëna am ci bépp jéego bu moom boppam dina am ndam. Dafay natt wóor, du natt kàttan. Li gëna bari luñu koy juum mooy méngale benn model pass@10 ak beneen model pass@1, fàtte ni pass@k dafay xalaat ni amna lu xam bu baax ban misaal moo jub, ba noppi jàpp pass@1 buy dekode bu bëgg lu wuute ak misaal pass@1. Test yu néew doole yi dañuy yokk nimero pass@k bu nekk, moo tax EvalPlus yokk yeneen test yu bari ci HumanEval ba noppi gis poñ yi wàññeeku.
Doxal ci àdduna dëgg
Benn ekip buy jàngat benn xeetu kode ci kaw HumanEval dafay jël 200 misaal ci jafe-jafe bu nekk, lim ñaata nit ñoo jàll ci test yi, ba noppi rapoor jàll@1, jàll@10 ak jàll@100 ci benn misaal boobu jëfandikoo estimatër bu amul benn par.
Benn editër autocomplete buy wane benn xalaat dañu ko wara àtte ci pass@1, waaye jumtukaay biy defar juróomi kàndidaa ba noppi doxal sa test suite ngir tànn benn buy liggéey moo gëna jege pass@5 situation.
Agent buy jàppale kiliyaan bi am ndam ci 75 pursaa ci jéem yi dafa nuru lu am doole ci pass@k, waaye sudee jéem yi moom seen bopp, poñ yi mu am ci pass^4 (ñeenti jéem yi yépp am ndam) lu tollu ci 0.32 la, loolu dafay wane ni duñu ko mëna wóolu suñu ko jëfandikoo lu bari.
Sistemu prograam buy joŋante dafay defar prograam yu bari yuñ mëna tànn, ba noppi segg leen ci misaali test yi, ba noppi joxe ci limu néew; tolluwaayu saafara biñ xamle mingi aju ci limu dugal yiñ nangu, muy budget bu nuroo ak pass@k.
Ëlëgu Pass@k Metric leeral nañu ko
Bi model yi jogee ci benn mat dem ci agent yu bari, matuwaayi wóor yu melni pass^k ak run-to-run consistency ñu ngi gëna am solo ci wetu pass@k, ndax jëfandikukat yi dañuy dundu benn jéem, du li gëna baax ci yu bari. Auteur yu Benchmark yi dañuy dugal seen xaalis ci test yu gëna am doole, ndax test yu néew doole yi dañuy may kode bu jaarul yoon mu jàll ba noppi di yokk bépp metric. Rapport yu wóor yi dañu wara wax k, limu misaal yi, tàngoor wi ak ndax amna jéego yuñ jëfandikoo ci tànneef, waaye jëf yi dañu wuute, kon jàngkat yi dañu wara wéy di xool leeral yooyu duñu leen xalaat.
Teg ko ci jëf
Lu tax mu am solo
- Njëgg ak budget. Dogal yi architecture di jël dañuy indi njariñ ak njëgu liggéey bi ay at ci ginaaw.
- dogal yu gëna leer. Njàngalem xarala yi dafay jàppale ekip yi ñu tànn li gën, te baña yam ci li gëna bees daal.
- Xool kalite. Tanneef yu gëna baax ci wàllu ingeñër dina wàññi jafe-jafe yi ci wàllu wóor ci liggéey bi.
Moytul
- Optimize benn benchmark mën na nëbb ñakk kattan yu gëna yaatu ci sistem bi.
- Njëg li ñuy fay ci infrastructure yi ak ci toppatoo dañuy faral di suufeel.
- Bu sistem yi di gëna xawa jafee xam, jafe-jafe yi am ci wàllu kaaraange ak seetlu mën nañu gëna bari.
Jéego yi ci topp
- Mandargal latency, kalite, ak njëg yi laata ngay jëfandikoo.
- Benchmark ci biir sargal ak done yu dëggu.
- Jumtukaay bi di saytu njuumte yi, derive bi ak njeextalu jëfandikukat bi.
- Waajal rollback ak yooni tontu ci jafe-jafe yi laata ngay eskale.
Weyal di banneexu
Bulletin bu amul fayda
Jàngal xibaar AI bu bes
Ñatti jaar-jaari IA yuñ firndeel bis bu nekk ci ayu-bis bi, ñu bind leen ci Àngle bu leer. Gratis ba fàww, amul yëgle.
Benn email bis bu nekk ci ayu-bis bi. Benn klik nga dindi abonemaa bi. Dunu musa jaay wala séddoo sa adres.
Nattal sa bopp
Take the Pass@k Metric Explained quiz
Feedback ci saasi ci bépp tontu, ak sertifikaa buñ mëna séddoo ak ID buñ mëna saytu soo jàllee ci njàng mi.
Jàppale njàngum IA te doo fay. AI Understanding mbootaay la buy def te Yàlla tax — amul yëgle, amul paywall, musul am. Defal ab sarax
Laaj yi ñuy faral di laaj
Luy Pass@k Metric buñu leeral?
Pass@k mooy probabilite bi benn ci k jéem yuñ jëlee ci benn model mëna saafara jafe-jafe, ñu koy faral di saytu ci def ay test yu nëbbu ci kod biñ defar. Dafa am solo ndax kode ak agent benchmarks dañu koy xamle saa yu nekk, te pass@10 wala pass@100 poñ mën na gëna rafet li jëfandikukat bi am ci benn jéem.
Lu pass@k di natt ci benn jafe-jafe?
Pass@k mooy chance bi benn ci k jéem yi mëna am ndam. Njortu benchmark dafay xayma probabilite bi ci jafe-jafe yépp.
HumanEval, muy référence biñ dugal ci këyit Codex, lan lay denc?
HumanEval amna 164 jafe-jafe Python yuñ bind ak loxo, bu nekk ci ñoom ñu ngi koy saytu ci ay test yu nëbbu.
Lan moo waral këyit Codex defar n misaal yu n ëpp k?
Defar ay misaal k ndànk dafay joxe xayma bu bari bruit. Jëfandikoo n misaal ak lim c yi jub dafay tax ñu mëna xayma bu baax te bariwul ay variance.
Ak n misaal ak c jub, ban wax mooy estimatëru pass@k bu amul benn par?
Benn la buñu dindi ci probabilite bi k-subset bu bariwul ay misaal yu jaarul yoon. C(c, k)/C(n, k) mooy xaymakatu jàll^k, te gaawaayu doole-k dafa tëju.
Luy pass^k, buñu fësal ci këyit tau-bench, natt?
Pass^k dafay laaj bépp jéem ngir mëna am ndam, moo tax dafay natt wóor, te loolu lu am solo la ci agent yiy liggéeyal jëfandikukat yu bari.
Weyal di jàng
Gid yu jëm ci loolu
Tann nañu yeneen njiit ngir topic bii