Il prossimoProssima guida
Bozze di modelli di decodifica speculativa
Intelligenza artificiale linguistica
GUIDA ALL'AI linguistica
I controlli di decodifica sono le manopole che decidono come un modello linguistico sceglie ogni parola successiva dalla sua distribuzione di probabilità.
Ascolta questa guidaNarrato dall'IA · ~2 min
Settings like temperature, top-p, and repetition penalty shape whether output feels creative, focused, or stuck in loops.
Un modello linguistico non restituisce direttamente il testo; restituisce una probabilità per ogni possibile token successivo. La decodifica è la strategia per trasformare quelle probabilità in parole reali. La temperatura rimodella la distribuzione: valori bassi la spingono verso il token più probabile (focalizzato, deterministico), valori alti la appiattiscono (diverso, rischioso). Top-k mantiene solo i k token più probabili; top-p (campionamento del nucleo) mantiene l'insieme più piccolo le cui probabilità si sommano a una soglia come 0,9. La penalità di ripetizione divide i punteggi dei gettoni già utilizzati, scoraggiando il modello dal ripetersi. I controlli correlati includono la penalità di frequenza (ridimensionata in base alla frequenza con cui un token è apparso) e la penalità di presenza (una penalità fissa una volta che il token appare). L'ottimizzazione di questi previene sia i loop robotici che i divagazioni incoerenti.
Un'app di scrittura creativa aumenta la temperatura e la top-p per generare continuazioni di storie varie e sorprendenti.
Un assistente di codifica abbassa la temperatura vicino allo zero in modo da restituire il singolo completamento del codice deterministico più probabile.
Un chatbot applica una penalità di ripetizione intorno a 1,2 per impedirgli di ripetere la stessa frase più e più volte.
Un utente API imposta una penalità di frequenza per scoraggiare un riassuntista dall'usare eccessivamente la stessa parola d'ordine in un documento lungo.
La decodifica è un'area di ricerca attiva. Metodi più recenti come la ricerca contrastiva, il campionamento tipico, il campionamento eta e il campionamento min-p mirano a bilanciare coerenza e diversità in modo più intelligente rispetto alle soglie fisse. La decodifica speculativa utilizza un piccolo modello di bozza per accelerare la generazione. Ci si aspetta che i sistemi futuri adattino dinamicamente i parametri di decodifica in base al contesto e espongano controlli più semplici di alto livello in modo che gli utenti possano richiedere "più creatività" o "più precisione" senza destreggiarsi manualmente tra temperatura e penalità.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
I controlli di decodifica sono le manopole che decidono come un modello linguistico sceglie ogni parola successiva dalla sua distribuzione di probabilità. Impostazioni come temperatura, top-p e penalità di ripetizione determinano se l'output sembra creativo, concentrato o bloccato in loop.
Una temperatura più elevata appiattisce la distribuzione di probabilità, rendendo i token meno probabili più competitivi e l’output più diversificato e imprevedibile.
Top-p seleziona il gruppo più piccolo di top token la cui probabilità cumulativa raggiunge la soglia (ad esempio, 0,9), quindi il pool di candidati si adatta al contesto.
La penalità di ripetizione modifica i logit (punteggi grezzi) dei token già utilizzati prima che vengano convertiti in probabilità, riducendone la possibilità di selezione.
OpenAI’s API guide describes frequency penalty as proportional to prior token count and presence penalty as a one-off adjustment for tokens already sampled.
A temperature near zero reduces sampling randomness and makes output more deterministic; it does not guarantee that the selected code is correct.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Bozze di modelli di decodifica speculativa
Intelligenza artificiale linguistica