DalšíDalší průvodce
RAG Evaluation Metrics a RAGAS
Technický
Technický PRŮVODCE
Pass@k je pravděpodobnost, že alespoň jeden z k vzorkovaných pokusů modelu vyřeší problém, což se obvykle ověřuje spuštěním skrytých unit testů na vygenerovaném kódu.
Poslechněte si tento návodAI-vyprávěný · ~3 min
Je to důležité, protože benchmarky kódu a agentů ji neustále uvádějí a skóre pass@10 nebo pass@100 může vypadat mnohem lépe než to, co uživatel získá z jednoho pokusu.
Pass@k grew out of program synthesis research, where Kulal and colleagues used it in 2019 for pseudocode-to-code tasks, and it became standard with OpenAI's 2021 Codex paper, which introduced HumanEval, a set of 164 hand-written Python programming problems. For each problem the model writes a function, and the function counts as correct only if it passes hidden unit tests. Pass@k asks: if you drew k samples, what is the chance that at least one passes? The benchmark score is that probability averaged over all problems. The naive method is to generate exactly k samples per problem and check whether any pass, but that estimate is very noisy. The Codex paper instead generates n samples, where n is larger than k (for example 200), counts the c correct ones, and computes the probability that a random subset of k samples contains at least one correct sample: 1 minus C(n minus c, k) divided by C(n, k). This estimator is unbiased and far less variable. The shortcut of plugging c/n into 1 minus (1 minus p) to the power k is biased. Sampling temperature matters. Pass@1 is usually best at low temperature, while pass@100 benefits from higher temperature because more diverse samples raise the chance that one works. Papers often pick a different temperature for each k. Agent benchmarks added a complementary metric. The tau-bench paper from Sierra (2024) defined pass^k, the probability that all k independent trials succeed. It measures reliability rather than capability. Common misreadings include comparing one model's pass@10 with another's pass@1, forgetting that pass@k assumes something already knows which sample is correct, and treating greedy-decoding pass@1 as identical to sampled pass@1. Weak unit tests inflate every pass@k number, which is why EvalPlus added many more tests to HumanEval and saw scores drop.
Tým, který hodnotí kódový model na sadě HumanEval, vzorkuje 200 dokončení na jeden problém, spočítá, kolik jich projde testy, a pomocí nestranného odhadu z této jediné sady vzorků vykáže hodnoty pass@1, pass@10 a pass@100.
Editor s automatickým doplňováním, který zobrazuje jeden návrh, by měl být posuzován podle pass@1, zatímco nástroj, který generuje pět kandidátů a spustí vaši testovací sadu, aby vybral fungující kód, je blíže situaci pass@5.
Agent zákaznické podpory, který uspěje v 75 procentech pokusů, vypadá v metrice pass@k silně, ale pokud jsou pokusy nezávislé, jeho skóre pass^4 (všechny čtyři pokusy úspěšné) je pouze kolem 0,32, což ukazuje, jak nespolehlivě by působil při opakovaném použití.
Systém soutěžního programování generuje mnoho kandidátských programů, filtrovat je podle vzorových testů a odesílá malý počet; uváděná míra vyřešení závisí na tom, kolik odeslání bylo povoleno, což je rozpočet ve stylu pass@k.
Jak se modely posouvají od jednoho dokončení k vícestupňovým agentům, opatření spolehlivosti, jako jsou pass^k a konzistence mezi běhy, získávají větší pozornost spolu s pass@k, protože uživatelé zažívají jeden pokus, nikoliv to nejlepší z mnoha. Autoři benchmarků také investují do silnějších testovacích sad, protože slabé testy propouštějí nesprávný kód a nadhodnocují každou metrikou. Pečlivé zprávy by měly uvádět k, počet vzorků, teplotu a zda byl použit jaký krok výběru, ale praxe se liší, takže čtenáři by měli tyto podrobnosti nadále kontrolovat, namísto toho, aby je předpokládali.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Pass@k je pravděpodobnost, že alespoň jeden z k vzorkovaných pokusů modelu vyřeší problém, obvykle ověřovaný spuštěním skrytých unit testů na vygenerovaném kódu. Záleží na tom, protože benchmarky kódu a agentů to neustále hlásí a skóre pass@10 nebo pass@100 může vypadat mnohem lépe než to, co uživatel získá z jediného pokusu.
Pass@k je šance, že alespoň jeden z k pokusů bude úspěšný. Skóre benchmarku průměruje tuto pravděpodobnost přes všechny problémy.
HumanEval má 164 ručně psaných problémů Python, každý zkontrolován skrytými testy jednotek.
Generování přesně k vzorků dává odhad šumu. Použití n vzorků a počítání c správných umožňuje nestranný odhad s mnohem menším rozptylem.
Je to jedna mínus pravděpodobnost, že náhodná k-podmnožina obsahuje pouze nesprávné vzorky. C(c, k)/C(n, k) je odhad pass^k a zkratka power-k je zkreslená.
Pass^k vyžaduje k úspěchu každý pokus, takže měří spolehlivost, což je důležité pro agenty obsluhující mnoho uživatelů.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
RAG Evaluation Metrics a RAGAS
Technický