Technische GIDS

Pass@k-metriek uitgelegd

Pass@k is de waarschijnlijkheid dat ten minste één van de k bemonsterde pogingen van een model een probleem oplost, meestal gecontroleerd door verborgen unit-tests uit te voeren op de gegenereerde code.

Luister naar deze gidsAI-verteld · ~3 min

Op deze pagina4 minuten lezen
  1. Overzicht
  2. Diepe duik
  3. Implementatie in de echte wereld
  4. De toekomst van Pass@k Metric uitgelegd
  5. Het in de praktijk brengen
  6. Blijf verkennen
  7. Veelgestelde vragen

Overzicht

Het is van belang omdat code- en agentbenchmarks dit voortdurend rapporteren, en een score van 'pass@10' of 'pass@100' kan er veel beter uitzien dan wat een gebruiker krijgt bij één enkele poging.

Diepe duik

Pass@k is voortgekomen uit onderzoek naar programmasynthese, waar Kulal en collega's het in 2019 gebruikten voor pseudocode-naar-code-taken, en het werd standaard met OpenAI's Codex-paper uit 2021, waarin HumanEval werd geïntroduceerd, een set van 164 handgeschreven Python-programmeerproblemen. Voor elk probleem schrijft het model een functie, en de functie geldt alleen als correct als deze de verborgen eenheidstests doorstaat. Pass@k vraagt: als je k monsters trekt, wat is dan de kans dat er minstens één slaagt? De benchmarkscore is de waarschijnlijkheidsgemiddelde over alle problemen. De naïeve methode is om precies k monsters per probleem te genereren en te controleren of er voldoende zijn, maar die schatting is zeer luidruchtig. Het Codex-papier genereert in plaats daarvan n monsters, waarbij n groter is dan k (bijvoorbeeld 200), telt de c correcte monsters en berekent de waarschijnlijkheid dat een willekeurige subset van k monsters ten minste één correct monster bevat: 1 minus C(n minus c, k) gedeeld door C(n, k). Deze schatter is onbevooroordeeld en veel minder variabel. De kortere weg van het aansluiten van c/n op 1 min (1 min p) tot de macht k is vertekend. De bemonsteringstemperatuur is belangrijk. Pass@1 is meestal het beste bij lage temperaturen, terwijl pass@100 profiteert van hogere temperaturen omdat meer diverse monsters de kans vergroten dat één exemplaar werkt. Papier kiest vaak voor elke k een andere temperatuur. Agentbenchmarks hebben een aanvullende statistiek toegevoegd. Het tau-bench-artikel uit Sierra (2024) definieerde pass^k, de waarschijnlijkheid dat alle k onafhankelijke pogingen slagen. Het meet betrouwbaarheid in plaats van capaciteit. Vaak voorkomende misinterpretaties zijn onder meer het vergelijken van de pass@10 van het ene model met de pass@1 van een ander, het vergeten dat pass@k aanneemt dat iets al weet welk monster correct is, en het behandelen van hebzuchtige decoderingspass@1 als identiek aan de bemonsterde pass@1. Zwakke unit-tests verhogen elk pass@k-getal. Daarom heeft EvalPlus nog veel meer tests aan HumanEval toegevoegd en de scores zien dalen.

Implementatie in de echte wereld

Een team dat een codemodel op HumanEval evalueert, bemonstert 200 voltooiingen per probleem, telt hoeveel ervan de tests doorstaan ​​en rapporteert pass@1, pass@10 en pass@100 van die ene set monsters met behulp van de onbevooroordeelde schatter.

Een automatisch aanvullen van een editor die één suggestie laat zien, moet worden beoordeeld met pass@1, terwijl een tool die vijf kandidaten genereert en uw testsuite uitvoert om een ​​werkende te kiezen dichter bij een pass@5-situatie ligt.

Een klantenservicemedewerker die in 75 procent van de tests slaagt, ziet er goed uit op pass@k, maar als de tests onafhankelijk zijn, is de pass^4-score (alle vier de tests slagen) slechts ongeveer 0,32, wat aantoont hoe onbetrouwbaar hij zou zijn bij herhaald gebruik.

Een competitief programmeersysteem genereert veel kandidaatprogramma's, filtert deze op de voorbeeldtests en verzendt een klein aantal; het gerapporteerde oplossingspercentage hangt af van het aantal inzendingen dat is toegestaan, wat een budget in de stijl van pass@k is.

De toekomst van Pass@k Metric uitgelegd

Naarmate modellen overgaan van enkelvoudige voltooiingen naar meerstapsagenten, krijgen betrouwbaarheidsmetingen zoals pass^k en run-to-run-consistentie naast pass@k meer aandacht, omdat gebruikers één poging ervaren en niet de beste van vele. Benchmarkauteurs investeren ook in sterkere testsuites, omdat zwakke tests onjuiste code doorlaten en elke metriek opblazen. Zorgvuldige rapporten moeten k, het aantal monsters, de temperatuur vermelden en of er een selectiestap is gebruikt, maar de praktijk varieert, dus lezers moeten die details blijven controleren in plaats van ze aan te nemen.

Het in de praktijk brengen

Waarom het ertoe doet

  • Kosten en budget. Architectuurbeslissingen bepalen jarenlang de prestaties en bedrijfskosten.
  • Duidelijkere beslissingen. Technisch onderwijs helpt teams bij het kiezen van de juiste stapel, niet alleen de nieuwste.
  • Kwaliteitscontrole. Betere technische keuzes verminderen het aantal betrouwbaarheidsincidenten in de productie.

Pas op voor

  • Het optimaliseren van één benchmark kan bredere systeemzwakheden verbergen.
  • Infrastructuur- en onderhoudskosten worden vaak onderschat.
  • De lacunes op het gebied van beveiliging en waarneembaarheid kunnen groter worden naarmate systemen complexer worden.

Volgende stappen

  1. Definieer latentie-, kwaliteits- en kostendoelen vóór implementatie.
  2. Benchmark onder realistische belasting- en gegevensomstandigheden.
  3. Instrumentbewaking op fouten, drift en gebruikersimpact.
  4. Bereid rollback- en incidentresponspaden voor voordat u gaat schalen.

Blijf verkennen

Gratis nieuwsbrief

Ontvang de dagelijkse AI-briefing

Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.

Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.

Test jezelf

Take the Pass@k Metric Explained quiz

Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.

Quiz starten

Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie

Veelgestelde vragen

Wat is Pass@k Metric uitgelegd?

Pass@k is de waarschijnlijkheid dat ten minste één van de k bemonsterde pogingen van een model een probleem oplost, meestal gecontroleerd door verborgen unit-tests uit te voeren op de gegenereerde code. Het is van belang omdat code- en agentbenchmarks dit voortdurend rapporteren, en een score van 'pass@10' of 'pass@100' kan er veel beter uitzien dan wat een gebruiker krijgt bij één enkele poging.

Wat meet pass@k voor een enkel probleem?

Pass@k is de kans dat ten minste één van k pogingen slaagt. De benchmarkscore gemiddeld die waarschijnlijkheid over alle problemen.

Wat bevat HumanEval, de benchmark geïntroduceerd met het Codex-papier?

HumanEval heeft 164 handgeschreven Python-problemen, elk gecontroleerd door verborgen unit-tests.

Waarom genereert het Codex-papier n monsters met n groter dan k?

Het genereren van exact k monsters levert een ruisachtige schatting op. Door n steekproeven te gebruiken en c correcte steekproeven te tellen, kunt u een onbevooroordeelde schatting maken met veel minder variantie.

Met n monsters en c correct, welke uitdrukking is de zuivere pass@k-schatter?

Het is één minus de kans dat een willekeurige k-subset alleen onjuiste steekproeven bevat. C(c, k)/C(n, k) is de pass^k-schatter en de power-k-snelkoppeling is vertekend.

Wat meet pass^k, gedefinieerd in het tau-bench-papier?

Pass^k vereist dat elke proef slaagt, dus meet het de betrouwbaarheid, wat van belang is voor agenten die veel gebruikers bedienen.