VolgendeVolgende gids
RAG-evaluatiestatistieken en RAGAS
Technisch
Technische GIDS
Pass@k is de waarschijnlijkheid dat ten minste één van de k bemonsterde pogingen van een model een probleem oplost, meestal gecontroleerd door verborgen unit-tests uit te voeren op de gegenereerde code.
Luister naar deze gidsAI-verteld · ~3 min
Het is van belang omdat code- en agentbenchmarks dit voortdurend rapporteren, en een score van 'pass@10' of 'pass@100' kan er veel beter uitzien dan wat een gebruiker krijgt bij één enkele poging.
Pass@k is voortgekomen uit onderzoek naar programmasynthese, waar Kulal en collega's het in 2019 gebruikten voor pseudocode-naar-code-taken, en het werd standaard met OpenAI's Codex-paper uit 2021, waarin HumanEval werd geïntroduceerd, een set van 164 handgeschreven Python-programmeerproblemen. Voor elk probleem schrijft het model een functie, en de functie geldt alleen als correct als deze de verborgen eenheidstests doorstaat. Pass@k vraagt: als je k monsters trekt, wat is dan de kans dat er minstens één slaagt? De benchmarkscore is de waarschijnlijkheidsgemiddelde over alle problemen. De naïeve methode is om precies k monsters per probleem te genereren en te controleren of er voldoende zijn, maar die schatting is zeer luidruchtig. Het Codex-papier genereert in plaats daarvan n monsters, waarbij n groter is dan k (bijvoorbeeld 200), telt de c correcte monsters en berekent de waarschijnlijkheid dat een willekeurige subset van k monsters ten minste één correct monster bevat: 1 minus C(n minus c, k) gedeeld door C(n, k). Deze schatter is onbevooroordeeld en veel minder variabel. De kortere weg van het aansluiten van c/n op 1 min (1 min p) tot de macht k is vertekend. De bemonsteringstemperatuur is belangrijk. Pass@1 is meestal het beste bij lage temperaturen, terwijl pass@100 profiteert van hogere temperaturen omdat meer diverse monsters de kans vergroten dat één exemplaar werkt. Papier kiest vaak voor elke k een andere temperatuur. Agentbenchmarks hebben een aanvullende statistiek toegevoegd. Het tau-bench-artikel uit Sierra (2024) definieerde pass^k, de waarschijnlijkheid dat alle k onafhankelijke pogingen slagen. Het meet betrouwbaarheid in plaats van capaciteit. Vaak voorkomende misinterpretaties zijn onder meer het vergelijken van de pass@10 van het ene model met de pass@1 van een ander, het vergeten dat pass@k aanneemt dat iets al weet welk monster correct is, en het behandelen van hebzuchtige decoderingspass@1 als identiek aan de bemonsterde pass@1. Zwakke unit-tests verhogen elk pass@k-getal. Daarom heeft EvalPlus nog veel meer tests aan HumanEval toegevoegd en de scores zien dalen.
Een team dat een codemodel op HumanEval evalueert, bemonstert 200 voltooiingen per probleem, telt hoeveel ervan de tests doorstaan en rapporteert pass@1, pass@10 en pass@100 van die ene set monsters met behulp van de onbevooroordeelde schatter.
Een automatisch aanvullen van een editor die één suggestie laat zien, moet worden beoordeeld met pass@1, terwijl een tool die vijf kandidaten genereert en uw testsuite uitvoert om een werkende te kiezen dichter bij een pass@5-situatie ligt.
Een klantenservicemedewerker die in 75 procent van de tests slaagt, ziet er goed uit op pass@k, maar als de tests onafhankelijk zijn, is de pass^4-score (alle vier de tests slagen) slechts ongeveer 0,32, wat aantoont hoe onbetrouwbaar hij zou zijn bij herhaald gebruik.
Een competitief programmeersysteem genereert veel kandidaatprogramma's, filtert deze op de voorbeeldtests en verzendt een klein aantal; het gerapporteerde oplossingspercentage hangt af van het aantal inzendingen dat is toegestaan, wat een budget in de stijl van pass@k is.
Naarmate modellen overgaan van enkelvoudige voltooiingen naar meerstapsagenten, krijgen betrouwbaarheidsmetingen zoals pass^k en run-to-run-consistentie naast pass@k meer aandacht, omdat gebruikers één poging ervaren en niet de beste van vele. Benchmarkauteurs investeren ook in sterkere testsuites, omdat zwakke tests onjuiste code doorlaten en elke metriek opblazen. Zorgvuldige rapporten moeten k, het aantal monsters, de temperatuur vermelden en of er een selectiestap is gebruikt, maar de praktijk varieert, dus lezers moeten die details blijven controleren in plaats van ze aan te nemen.
Gratis nieuwsbrief
Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.
Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.
Test jezelf
Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.
Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie
Pass@k is de waarschijnlijkheid dat ten minste één van de k bemonsterde pogingen van een model een probleem oplost, meestal gecontroleerd door verborgen unit-tests uit te voeren op de gegenereerde code. Het is van belang omdat code- en agentbenchmarks dit voortdurend rapporteren, en een score van 'pass@10' of 'pass@100' kan er veel beter uitzien dan wat een gebruiker krijgt bij één enkele poging.
Pass@k is de kans dat ten minste één van k pogingen slaagt. De benchmarkscore gemiddeld die waarschijnlijkheid over alle problemen.
HumanEval heeft 164 handgeschreven Python-problemen, elk gecontroleerd door verborgen unit-tests.
Het genereren van exact k monsters levert een ruisachtige schatting op. Door n steekproeven te gebruiken en c correcte steekproeven te tellen, kunt u een onbevooroordeelde schatting maken met veel minder variantie.
Het is één minus de kans dat een willekeurige k-subset alleen onjuiste steekproeven bevat. C(c, k)/C(n, k) is de pass^k-schatter en de power-k-snelkoppeling is vertekend.
Pass^k vereist dat elke proef slaagt, dus meet het de betrouwbaarheid, wat van belang is voor agenten die veel gebruikers bedienen.
Blijf leren
Er zijn meer handleidingen voor dit onderwerp geselecteerd
VolgendeVolgende gids
RAG-evaluatiestatistieken en RAGAS
Technisch