GUIDA TECNICA

Spiegazione della metrica Pass@k

Pass@k è la probabilità che almeno uno dei k tentativi campionati da un modello risolva un problema, solitamente verificato eseguendo unit test nascosti sul codice generato.

Ascolta questa guidaNarrato dall'IA · ~3 min

In questa pagina4 minuti di lettura
  1. Panoramica
  2. Immersione profonda
  3. Implementazione nel mondo reale
  4. Il futuro della metrica Pass@k spiegato
  5. Metterlo in pratica
  6. Continua a esplorare
  7. Domande frequenti

Panoramica

È importante perché i benchmark del codice e dell'agente lo segnalano costantemente e un punteggio pass@10 o pass@100 può sembrare molto migliore di quello che un utente ottiene da un singolo tentativo.

Immersione profonda

Pass@k è nato dalla ricerca sulla sintesi dei programmi, dove Kulal e colleghi lo hanno utilizzato nel 2019 per attività pseudocodice-codice, ed è diventato standard con il documento Codex del 2021 di OpenAI, che ha introdotto HumanEval, un set di 164 problemi di programmazione Python scritti a mano. Per ogni problema il modello scrive una funzione e la funzione viene considerata corretta solo se supera gli unit test nascosti. Pass@k chiede: se hai estratto k campioni, qual è la possibilità che almeno uno passi? Il punteggio di riferimento è la probabilità media su tutti i problemi. Il metodo ingenuo consiste nel generare esattamente k campioni per problema e verificare se qualcuno passa, ma tale stima è molto rumorosa. Il documento Codex genera invece n campioni, dove n è maggiore di k (ad esempio 200), conta quelli c corretti e calcola la probabilità che un sottoinsieme casuale di k campioni contenga almeno un campione corretto: 1 meno C(n meno c, k) diviso per C(n, k). Questo stimatore è imparziale e molto meno variabile. La scorciatoia di collegare c/n a 1 meno (1 meno p) alla potenza k è distorta. La temperatura di campionamento è importante. Pass@1 è solitamente migliore a bassa temperatura, mentre pass@100 trae vantaggio da temperature più elevate perché campioni più diversi aumentano le possibilità che uno funzioni. Le carte spesso scelgono una temperatura diversa per ogni k. I benchmark degli agenti hanno aggiunto una metrica complementare. Il documento tau-bench di Sierra (2024) ha definito pass^k, la probabilità che tutte le k prove indipendenti abbiano successo. Misura l’affidabilità piuttosto che la capacità. Le interpretazioni errate comuni includono il confronto del pass@10 di un modello con il pass@1 di un altro, dimenticando che pass@k presuppone che qualcosa sappia già quale campione è corretto e trattando il pass@1 con decodifica greedy come identico al pass@1 campionato. I test unitari deboli gonfiano ogni numero pass@k, motivo per cui EvalPlus ha aggiunto molti più test a HumanEval e ha visto diminuire i punteggi.

Implementazione nel mondo reale

Un team che valuta un modello di codice su HumanEval campiona 200 completamenti per problema, conta quanti superano i test e segnala pass@1, pass@10 e pass@100 da quell'insieme di campioni utilizzando lo stimatore imparziale.

Un editor con completamento automatico che mostra un suggerimento dovrebbe essere giudicato in base al pass@1, mentre uno strumento che genera cinque candidati ed esegue la tua suite di test per sceglierne uno funzionante è più vicino a una situazione pass@5.

Un agente dell'assistenza clienti che riesce nel 75% delle prove sembra forte in pass@k, ma se le prove sono indipendenti il ​​suo punteggio pass^4 (tutte e quattro le prove hanno successo) è solo di circa 0,32, il che dimostra quanto sarebbe inaffidabile in caso di uso ripetuto.

Un sistema di programmazione competitivo genera molti programmi candidati, li filtra rispetto ai test di esempio e ne invia un numero limitato; il tasso di risoluzione riportato dipende dal numero di invii consentiti, che è un budget in stile pass@k.

Il futuro della metrica Pass@k spiegato

Man mano che i modelli passano dai completamenti singoli agli agenti a più fasi, le misure di affidabilità come pass^k e la coerenza da esecuzione a esecuzione stanno ricevendo maggiore attenzione insieme a pass@k, perché gli utenti sperimentano un tentativo, non il migliore di molti. Gli autori di benchmark stanno anche investendo in suite di test più potenti, poiché i test deboli lasciano passare codice errato e gonfiano ogni metrica. Rapporti accurati dovrebbero indicare k, conteggio del campione, temperatura e se è stata utilizzata qualche fase di selezione, ma la pratica varia, quindi i lettori dovrebbero continuare a controllare questi dettagli piuttosto che presumerli.

Metterlo in pratica

Perché è importante

  • Costo e budget. Le decisioni relative all'architettura determinano prestazioni e costi operativi per anni.
  • Decisioni più chiare. La formazione tecnica aiuta i team a scegliere lo stack giusto, non solo quello più nuovo.
  • Controllo di qualità. Migliori scelte ingegneristiche riducono gli incidenti legati all’affidabilità nella produzione.

Attenzione

  • L'ottimizzazione di un benchmark può nascondere debolezze di sistema più ampie.
  • I costi delle infrastrutture e della manutenzione sono spesso sottostimati.
  • Le lacune in termini di sicurezza e osservabilità possono aumentare man mano che i sistemi diventano più complessi.

Prossimi passi

  1. Definire obiettivi di latenza, qualità e costi prima dell'implementazione.
  2. Benchmark in condizioni di carico e dati realistiche.
  3. Monitoraggio dello strumento per errori, deriva e impatto sull'utente.
  4. Preparare percorsi di rollback e risposta agli incidenti prima della scalabilità.

Continua a esplorare

Newsletter gratuita

Ricevi il briefing quotidiano sull'IA

Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.

Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.

Mettiti alla prova

Take the Pass@k Metric Explained quiz

Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.

Inizia il quiz

Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione

Domande frequenti

Che cosa spiega la metrica Pass@k?

Pass@k è la probabilità che almeno uno dei k tentativi campionati da un modello risolva un problema, solitamente verificato eseguendo unit test nascosti sul codice generato. È importante perché i benchmark del codice e dell'agente lo segnalano costantemente e un punteggio pass@10 o pass@100 può sembrare molto migliore di quello che un utente ottiene da un singolo tentativo.

Cosa misura pass@k per un singolo problema?

Pass@k è la probabilità che almeno uno dei k tentativi abbia successo. Il punteggio di riferimento calcola la media di tale probabilità su tutti i problemi.

HumanEval, il benchmark introdotto con il documento Codex, cosa contiene?

HumanEval ha 164 problemi Python scritti a mano, ciascuno controllato da test unitari nascosti.

Perché la carta Codex genera n campioni con n maggiore di k?

La generazione di esattamente k campioni fornisce una stima rumorosa. L'uso di n campioni e il conteggio di c corretti consente una stima imparziale con una varianza molto inferiore.

Con n campioni e c corretto, quale espressione è lo stimatore imparziale pass@k?

È uno meno la probabilità che un sottoinsieme k casuale contenga solo campioni errati. C(c, k)/C(n, k) è lo stimatore pass^k e la scorciatoia power-k è distorta.

Cosa misura pass^k, definito nel documento tau-bench?

Pass^k richiede che ogni prova abbia successo, quindi misura l'affidabilità, che è importante per gli agenti che servono molti utenti.