Technický PRŮVODCE

Vysvětlení metriky Pass@k

Pass@k je pravděpodobnost, že alespoň jeden z k vzorkovaných pokusů modelu vyřeší problém, což se obvykle ověřuje spuštěním skrytých unit testů na vygenerovaném kódu.

Poslechněte si tento návodAI-vyprávěný · ~3 min

Na této stránce4 min čtení
  1. Přehled
  2. Hluboký ponor
  3. Real-World Implementace
  4. Budoucnost metriky Pass@k vysvětlena
  5. Uvedení do praxe
  6. Pokračujte v objevování
  7. Často kladené otázky

Přehled

Je to důležité, protože benchmarky kódu a agentů ji neustále uvádějí a skóre pass@10 nebo pass@100 může vypadat mnohem lépe než to, co uživatel získá z jednoho pokusu.

Hluboký ponor

Pass@k grew out of program synthesis research, where Kulal and colleagues used it in 2019 for pseudocode-to-code tasks, and it became standard with OpenAI's 2021 Codex paper, which introduced HumanEval, a set of 164 hand-written Python programming problems. For each problem the model writes a function, and the function counts as correct only if it passes hidden unit tests. Pass@k asks: if you drew k samples, what is the chance that at least one passes? The benchmark score is that probability averaged over all problems. The naive method is to generate exactly k samples per problem and check whether any pass, but that estimate is very noisy. The Codex paper instead generates n samples, where n is larger than k (for example 200), counts the c correct ones, and computes the probability that a random subset of k samples contains at least one correct sample: 1 minus C(n minus c, k) divided by C(n, k). This estimator is unbiased and far less variable. The shortcut of plugging c/n into 1 minus (1 minus p) to the power k is biased. Sampling temperature matters. Pass@1 is usually best at low temperature, while pass@100 benefits from higher temperature because more diverse samples raise the chance that one works. Papers often pick a different temperature for each k. Agent benchmarks added a complementary metric. The tau-bench paper from Sierra (2024) defined pass^k, the probability that all k independent trials succeed. It measures reliability rather than capability. Common misreadings include comparing one model's pass@10 with another's pass@1, forgetting that pass@k assumes something already knows which sample is correct, and treating greedy-decoding pass@1 as identical to sampled pass@1. Weak unit tests inflate every pass@k number, which is why EvalPlus added many more tests to HumanEval and saw scores drop.

Real-World Implementace

Tým, který hodnotí kódový model na sadě HumanEval, vzorkuje 200 dokončení na jeden problém, spočítá, kolik jich projde testy, a pomocí nestranného odhadu z této jediné sady vzorků vykáže hodnoty pass@1, pass@10 a pass@100.

Editor s automatickým doplňováním, který zobrazuje jeden návrh, by měl být posuzován podle pass@1, zatímco nástroj, který generuje pět kandidátů a spustí vaši testovací sadu, aby vybral fungující kód, je blíže situaci pass@5.

Agent zákaznické podpory, který uspěje v 75 procentech pokusů, vypadá v metrice pass@k silně, ale pokud jsou pokusy nezávislé, jeho skóre pass^4 (všechny čtyři pokusy úspěšné) je pouze kolem 0,32, což ukazuje, jak nespolehlivě by působil při opakovaném použití.

Systém soutěžního programování generuje mnoho kandidátských programů, filtrovat je podle vzorových testů a odesílá malý počet; uváděná míra vyřešení závisí na tom, kolik odeslání bylo povoleno, což je rozpočet ve stylu pass@k.

Budoucnost metriky Pass@k vysvětlena

Jak se modely posouvají od jednoho dokončení k vícestupňovým agentům, opatření spolehlivosti, jako jsou pass^k a konzistence mezi běhy, získávají větší pozornost spolu s pass@k, protože uživatelé zažívají jeden pokus, nikoliv to nejlepší z mnoha. Autoři benchmarků také investují do silnějších testovacích sad, protože slabé testy propouštějí nesprávný kód a nadhodnocují každou metrikou. Pečlivé zprávy by měly uvádět k, počet vzorků, teplotu a zda byl použit jaký krok výběru, ale praxe se liší, takže čtenáři by měli tyto podrobnosti nadále kontrolovat, namísto toho, aby je předpokládali.

Uvedení do praxe

Proč na tom záleží

  • Cena a rozpočet. Rozhodnutí o architektuře zvyšují výkon a provozní náklady po mnoho let.
  • Jasnější rozhodnutí. Technické vzdělání pomáhá týmům vybrat ten správný stack, nejen ten nejnovější.
  • Kontrola kvality. Lepší konstrukční volby snižují výskyt problémů se spolehlivostí ve výrobě.

Pozor na

  • Optimalizace jednoho benchmarku může skrýt širší systémové slabiny.
  • Náklady na infrastrukturu a údržbu jsou často podceňovány.
  • Mezery v zabezpečení a pozorovatelnosti se mohou zvětšovat, jak se systémy stávají složitějšími.

Další kroky

  1. Před implementací definujte cíle latence, kvality a nákladů.
  2. Benchmark za realistických podmínek zatížení a dat.
  3. Monitorování chyb, posunu a dopadu na uživatele.
  4. Před škálováním připravte cesty vrácení zpět a reakce na incidenty.

Pokračujte v objevování

Newsletter zdarma

Získejte denní přehled o AI

Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.

Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.

Otestujte se

Absolvujte kvíz Vysvětlení metriky Pass@k

Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.

Spustit kvíz

Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte

Často kladené otázky

Co je to Vysvětlení metriky Pass@k?

Pass@k je pravděpodobnost, že alespoň jeden z k vzorkovaných pokusů modelu vyřeší problém, obvykle ověřovaný spuštěním skrytých unit testů na vygenerovaném kódu. Záleží na tom, protože benchmarky kódu a agentů to neustále hlásí a skóre pass@10 nebo pass@100 může vypadat mnohem lépe než to, co uživatel získá z jediného pokusu.

Co měří pass@k pro jeden problém?

Pass@k je šance, že alespoň jeden z k pokusů bude úspěšný. Skóre benchmarku průměruje tuto pravděpodobnost přes všechny problémy.

Co obsahuje HumanEval, benchmark představený s papírem Codex?

HumanEval má 164 ručně psaných problémů Python, každý zkontrolován skrytými testy jednotek.

Proč papír Codex generuje n vzorků s n větším než k?

Generování přesně k vzorků dává odhad šumu. Použití n vzorků a počítání c správných umožňuje nestranný odhad s mnohem menším rozptylem.

Při n vzorcích a c správných, který výraz je nezaujatým odhadem pass@k?

Je to jedna mínus pravděpodobnost, že náhodná k-podmnožina obsahuje pouze nesprávné vzorky. C(c, k)/C(n, k) je odhad pass^k a zkratka power-k je zkreslená.

Co měří pass^k, definované v tau-bench paper?

Pass^k vyžaduje k úspěchu každý pokus, takže měří spolehlivost, což je důležité pro agenty obsluhující mnoho uživatelů.