Il prossimoProssima guida
Teste di decodificazione Medusa
Intelligenza artificiale linguistica
GUIDA ALL'AI linguistica
Self-consistency samples multiple reasoning paths and aggregates their extracted answers, often by majority vote.
Ascolta questa guidaNarrato dall'IA · ~2 min
It improved results on several studied benchmarks, but accuracy gains depend on the task and samples can share correlated errors; the method also adds inference cost.
A model can produce different reasoning paths for the same prompt. Greedy decoding follows one most-likely path, while self-consistency samples several paths, extracts an answer from each, and selects the most frequent answer. The original study reported improvements on several arithmetic and commonsense benchmarks under its tested models, prompts, and sampling budgets. On suitable tasks, correct paths may converge more consistently than incorrect paths, but this is not guaranteed: paths come from the same model and errors may be correlated. Answer extraction and normalization also matter because equivalent answers can have different surface forms. The method increases inference work because it generates multiple paths. Treat the vote as an aggregation heuristic and use external checks when correctness matters.
Aumentare la precisione dei problemi di matematica delle scuole elementari (GSM8K) campionando molti percorsi di soluzione e votando il numero finale.
Miglioramento dell'affidabilità della risposta a domande di buon senso in più fasi in cui una singola catena potrebbe scivolare su un'inferenza.
Aumentare la fiducia nelle risposte di generazione del codice controllando quale output appare più coerente nei campioni.
Rafforzare compiti di ragionamento simbolico o logico in cui diverse derivazioni dovrebbero convergere verso un'unica conclusione corretta.
L’autocoerenza è un esempio fondamentale di scalabilità del tempo di inferenza, e i suoi discendenti ora alimentano modelli di ragionamento che impiegano risorse di calcolo extra per pensare più intensamente. Le direzioni future includono la ponderazione dei voti tramite un verificatore esperto o un punteggio di confidenza anziché il conteggio equo, la scelta adattiva di quanti campioni estrarre in base alla difficoltà della domanda e la combinazione del voto con strutture di ricerca come l'Albero dei pensieri. Aspettatevi che rimanga una linea di base economica e senza training su cui qualsiasi sistema può basarsi quando la correttezza conta più della latenza.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
Self-consistency samples multiple reasoning paths and aggregates their extracted answers, often by majority vote. It improved results on several studied benchmarks, but accuracy gains depend on the task and samples can share correlated errors; the method also adds inference cost.
L'autocoerenza campiona molteplici catene di ragionamento diverse e seleziona la risposta finale su cui concorda la maggior parte delle catene.
Self-consistency can help on tested tasks when correct samples converge and mistakes vary; correlated errors can still make a wrong majority.
Invece di impegnarsi avidamente in un percorso molto probabile, l’autocoerenza si campiona e si aggrega attraverso molti percorsi.
Il ragionamento intermedio viene scartato; solo le risposte finali vengono aggregate mediante voto a maggioranza.
The paper reports gains in its evaluated tasks, but more samples do not guarantee higher accuracy because errors can be correlated.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Teste di decodificazione Medusa
Intelligenza artificiale linguistica