Il prossimoProssima guida
Metriche di valutazione RAG e RAGAS
Tecnico
GUIDA TECNICA
Pass@k è la probabilità che almeno uno dei k tentativi campionati da un modello risolva un problema, solitamente verificato eseguendo unit test nascosti sul codice generato.
Ascolta questa guidaNarrato dall'IA · ~3 min
È importante perché i benchmark del codice e dell'agente lo segnalano costantemente e un punteggio pass@10 o pass@100 può sembrare molto migliore di quello che un utente ottiene da un singolo tentativo.
Pass@k è nato dalla ricerca sulla sintesi dei programmi, dove Kulal e colleghi lo hanno utilizzato nel 2019 per attività pseudocodice-codice, ed è diventato standard con il documento Codex del 2021 di OpenAI, che ha introdotto HumanEval, un set di 164 problemi di programmazione Python scritti a mano. Per ogni problema il modello scrive una funzione e la funzione viene considerata corretta solo se supera gli unit test nascosti. Pass@k chiede: se hai estratto k campioni, qual è la possibilità che almeno uno passi? Il punteggio di riferimento è la probabilità media su tutti i problemi. Il metodo ingenuo consiste nel generare esattamente k campioni per problema e verificare se qualcuno passa, ma tale stima è molto rumorosa. Il documento Codex genera invece n campioni, dove n è maggiore di k (ad esempio 200), conta quelli c corretti e calcola la probabilità che un sottoinsieme casuale di k campioni contenga almeno un campione corretto: 1 meno C(n meno c, k) diviso per C(n, k). Questo stimatore è imparziale e molto meno variabile. La scorciatoia di collegare c/n a 1 meno (1 meno p) alla potenza k è distorta. La temperatura di campionamento è importante. Pass@1 è solitamente migliore a bassa temperatura, mentre pass@100 trae vantaggio da temperature più elevate perché campioni più diversi aumentano le possibilità che uno funzioni. Le carte spesso scelgono una temperatura diversa per ogni k. I benchmark degli agenti hanno aggiunto una metrica complementare. Il documento tau-bench di Sierra (2024) ha definito pass^k, la probabilità che tutte le k prove indipendenti abbiano successo. Misura l’affidabilità piuttosto che la capacità. Le interpretazioni errate comuni includono il confronto del pass@10 di un modello con il pass@1 di un altro, dimenticando che pass@k presuppone che qualcosa sappia già quale campione è corretto e trattando il pass@1 con decodifica greedy come identico al pass@1 campionato. I test unitari deboli gonfiano ogni numero pass@k, motivo per cui EvalPlus ha aggiunto molti più test a HumanEval e ha visto diminuire i punteggi.
Un team che valuta un modello di codice su HumanEval campiona 200 completamenti per problema, conta quanti superano i test e segnala pass@1, pass@10 e pass@100 da quell'insieme di campioni utilizzando lo stimatore imparziale.
Un editor con completamento automatico che mostra un suggerimento dovrebbe essere giudicato in base al pass@1, mentre uno strumento che genera cinque candidati ed esegue la tua suite di test per sceglierne uno funzionante è più vicino a una situazione pass@5.
Un agente dell'assistenza clienti che riesce nel 75% delle prove sembra forte in pass@k, ma se le prove sono indipendenti il suo punteggio pass^4 (tutte e quattro le prove hanno successo) è solo di circa 0,32, il che dimostra quanto sarebbe inaffidabile in caso di uso ripetuto.
Un sistema di programmazione competitivo genera molti programmi candidati, li filtra rispetto ai test di esempio e ne invia un numero limitato; il tasso di risoluzione riportato dipende dal numero di invii consentiti, che è un budget in stile pass@k.
Man mano che i modelli passano dai completamenti singoli agli agenti a più fasi, le misure di affidabilità come pass^k e la coerenza da esecuzione a esecuzione stanno ricevendo maggiore attenzione insieme a pass@k, perché gli utenti sperimentano un tentativo, non il migliore di molti. Gli autori di benchmark stanno anche investendo in suite di test più potenti, poiché i test deboli lasciano passare codice errato e gonfiano ogni metrica. Rapporti accurati dovrebbero indicare k, conteggio del campione, temperatura e se è stata utilizzata qualche fase di selezione, ma la pratica varia, quindi i lettori dovrebbero continuare a controllare questi dettagli piuttosto che presumerli.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
Pass@k è la probabilità che almeno uno dei k tentativi campionati da un modello risolva un problema, solitamente verificato eseguendo unit test nascosti sul codice generato. È importante perché i benchmark del codice e dell'agente lo segnalano costantemente e un punteggio pass@10 o pass@100 può sembrare molto migliore di quello che un utente ottiene da un singolo tentativo.
Pass@k è la probabilità che almeno uno dei k tentativi abbia successo. Il punteggio di riferimento calcola la media di tale probabilità su tutti i problemi.
HumanEval ha 164 problemi Python scritti a mano, ciascuno controllato da test unitari nascosti.
La generazione di esattamente k campioni fornisce una stima rumorosa. L'uso di n campioni e il conteggio di c corretti consente una stima imparziale con una varianza molto inferiore.
È uno meno la probabilità che un sottoinsieme k casuale contenga solo campioni errati. C(c, k)/C(n, k) è lo stimatore pass^k e la scorciatoia power-k è distorta.
Pass^k richiede che ogni prova abbia successo, quindi misura l'affidabilità, che è importante per gli agenti che servono molti utenti.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Metriche di valutazione RAG e RAGAS
Tecnico