Il prossimoProssima guida
Temperatura e campionamento
Intelligenza artificiale linguistica
GUIDA ALL'AI linguistica
Best-of-N is an inference-time selection method: sample multiple outputs and use a scorer or verifier to choose one.
Ascolta questa guidaNarrato dall'IA · ~2 min
It can improve results when the model sometimes produces a good candidate and the scorer identifies it reliably. More samples cost more generation and can amplify errors in an imperfect scorer.
Best-of-N samples N candidate responses from a model and returns the one with the highest score under a reward model, verifier, or heuristic. Self-consistency is a special case that aggregates final answers by majority vote. If each independent sample has probability p of success and a perfect verifier can recognize success, the chance at least one candidate is correct is 1−(1−p)^N. Real outputs are not necessarily independent and real scorers are imperfect. Research on reward-model overoptimization finds that optimizing against a proxy can eventually reduce gold-standard performance, including in best-of-N selection.
Sampling several math solutions and selecting one that passes a verifier
Generating code candidates and ranking them with unit-test results
Using majority vote when multiple reasoning chains reach the same answer
Comparing quality gains against the additional generated tokens and scorer cost
Inference-time scaling research studies adaptive sample counts, verifiers, and reward-model calibration. The right N depends on the task, sample quality, scorer reliability, and compute budget. Evaluations should report both the selected-answer metric and the added generation/scoring cost.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
Best-of-N is an inference-time selection method: sample multiple outputs and use a scorer or verifier to choose one. It can improve results when the model sometimes produces a good candidate and the scorer identifies it reliably. More samples cost more generation and can amplify errors in an imperfect scorer.
Best-of-N seleziona più risposte dei candidati e poi le riclassifica, restituendo quella con il punteggio più alto.
More candidates help only if a good answer sometimes appears and the scorer can recognize it; neither condition is guaranteed.
La selezione è valida tanto quanto il riclassificazione; un marcatore debole o parziale può scegliere risposte sbagliate.
Research measures reward-model overoptimization in best-of-N: selecting extreme proxy scores can eventually lower gold-reward performance.
L’autocoerenza campiona molte catene di ragionamento e seleziona la risposta finale su cui concorda la maggior parte delle catene.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Temperatura e campionamento
Intelligenza artificiale linguistica