Il prossimoProssima guida
Decodifica minima del rischio Bayes
Intelligenza artificiale linguistica
GUIDA ALL'AI linguistica
La decodifica contrastiva genera testo di qualità superiore sottraendo le tendenze di un modello linguistico piccolo e debole da quelle di uno grande e forte.
Ascolta questa guidaNarrato dall'IA · ~2 min
It amplifies what the expert knows and the amateur misses, reducing repetition and bland output.
Contrastive decoding scores candidate tokens using an expert model and an amateur model, subtracting a weighted amateur log-probability from the expert score. It can suppress tokens that both models favor, including some generic or repetitive continuations. An adaptive plausibility constraint filters out tokens whose expert probability is too small relative to the expert’s highest-probability token. This constraint limits candidates; it does not guarantee coherent, grammatical, or truthful output. Output quality depends on the models, coefficient, threshold, prompt, and task, so evaluate the full generation. The method runs at inference time with two models and requires no additional training.
Generazione di storie o continuazioni di articoli lunghi e non ripetitivi in cui il campionamento del nucleo si trasforma in loop
Accoppiare un esperto 65B con un amatoriale 1.5B per migliorare la generazione aperta senza messa a punto
Ridurre la ripetizione degenerata nei riassunti e nei dialoghi
Serve come base per l'autocontrasto in stile DoLa per ridurre le allucinazioni reali
La decodifica contrastiva ha ispirato una famiglia di metodi di "contrasto all'inferenza", tra cui DoLa (contrastare gli strati iniziali e tardivi di un modello per ridurre le allucinazioni) e varianti sensibili al contesto che contrastano con e senza i documenti recuperati. Aspettatevi un'integrazione più stretta con il recupero, il punteggio di fattualità e la distillazione per piccoli dilettanti, oltre alla combinazione con la decodifica speculativa in modo che il dilettante gestisca la qualità e acceleri la generazione simultaneamente.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
La decodifica contrastiva genera testo di qualità superiore sottraendo le tendenze di un modello linguistico piccolo e debole da quelle di uno grande e forte. Amplifica ciò che l'esperto sa e il dilettante non vede, riducendo la ripetizione e il risultato blando.
Le probabilità logaritmiche del dilettante vengono sottratte da quelle dell'esperto, cancellando gli errori sistematici (come favorire i gettoni frequenti) condivisi da entrambi i modelli.
Entrambi i modelli tendono a preferire gettoni ad alta frequenza e ripetitivi; sottrarre il dilettante rimuove quel pregiudizio condiviso, declassando le scelte blande.
The constraint removes low-expert-probability tokens before contrastive scoring; it does not certify the coherence or truth of the final output.
A ogni candidato viene assegnato un punteggio pari alla probabilità logaritmica dell'esperto meno una probabilità logaritmica amatoriale ponderata, premiando i token che l'esperto preferisce in modo univoco.
DoLa mette a confronto le previsioni premature (strato iniziale) e mature (strato tardivo) del modello per ridurre le allucinazioni, applicando il concetto di contrasto all'interno di un modello.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Decodifica minima del rischio Bayes
Intelligenza artificiale linguistica