Il prossimoProssima guida
Decodifica contrastiva
Intelligenza artificiale linguistica
GUIDA ALL'AI linguistica
La decodifica vincolata forza un modello linguistico a generare un output che segue regole rigide, come un JSON valido, un modello regex o un insieme fisso di scelte, bloccando qualsiasi token che possa interrompere la struttura.
Ascolta questa guidaNarrato dall'IA · ~2 min
Trasforma un generatore di testo probabilistico in un produttore affidabile di output analizzabili dalla macchina.
Un modello linguistico normalmente campiona il token successivo dal suo vocabolario completo, quindi nulla gli impedisce di produrre una virgola vagante o una parentesi sbilanciata che interrompe l'analisi JSON. La decodifica vincolata risolve questo problema mantenendo una grammatica o una macchina a stati insieme alla generazione. Ad ogni passaggio, il sistema calcola quali token sono legali dato ciò che è stato prodotto finora, quindi maschera (imposta su infinito negativo) la probabilità di ogni token illegale prima del campionamento. Per JSON, ciò significa che dopo una parentesi graffa di apertura è consentita solo una virgoletta o una parentesi graffa di chiusura; dopo una chiave, solo i due punti. Le implementazioni comuni compilano grammatiche libere dal contesto (come GBNF in llama.cpp), schemi JSON o espressioni regolari in queste maschere a livello di token, garantendo che l'output sia strutturalmente valido per costruzione piuttosto che per speranza.
Forzare un LLM a emettere JSON che corrisponde esattamente a uno schema predefinito in modo che il codice downstream possa analizzarlo senza provare/eccetto le guardie.
Limitare la risposta di un modello di classificazione a una delle etichette fisse impostate come "positivo", "negativo" o "neutro" e nient'altro.
Generazione di argomenti SQL o di chiamata di funzione sintatticamente validi per l'utilizzo dello strumento, in cui un token non valido provocherebbe l'arresto anomalo dell'esecutore.
Produzione di output conforme a un'espressione regolare, ad esempio un numero di telefono, una data ISO o un codice prodotto in formato fisso.
La decodifica vincolata sta diventando una funzionalità predefinita piuttosto che un componente aggiuntivo: i provider ora espongono "output strutturati" e "modalità JSON" che garantiscono la conformità dello schema lato server. Aspettatevi una compilazione più rapida della grammatica, una latenza inferiore da parte degli automi precalcolati e una più stretta integrazione con le chiamate agli strumenti e i framework degli agenti, in cui ogni risposta del modello deve inserirsi in modo pulito nel codice. La ricerca si sta spingendo verso vincoli più ricchi – sistemi di tipi, grammatiche complete dei linguaggi di programmazione e controlli semantici – senza sacrificare la fluidità del modello.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
La decodifica vincolata forza un modello linguistico a generare un output che segue regole rigide, come un JSON valido, un modello regex o un insieme fisso di scelte, bloccando qualsiasi token che possa interrompere la struttura. Trasforma un generatore di testo probabilistico in un produttore affidabile di output analizzabili dalla macchina.
La decodifica vincolata calcola quali token sono legali dato lo stato grammaticale e imposta la probabilità che tutti i token illegali si azzerino effettivamente prima che il modello venga campione.
The current Structured Outputs documentation states that an unsupported JSON Schema in strict mode results in an error; schemas have an implementation-specific supported subset.
I tokenizzatori dividono il testo in parti di sottoparole che si estendono o dividono i confini grammaticali, quindi le biblioteche devono mappare le transizioni grammaticali sul vocabolario effettivo dei token.
Gli schemi JSON, le grammatiche libere dal contesto (come GBNF) e le espressioni regolari vengono comunemente compilati nelle maschere token che impongono la struttura.
La maschera viene applicata ai logit grezzi in modo che i token illegali ricevano una probabilità trascurabile quando viene campionato il token successivo.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Decodifica contrastiva
Intelligenza artificiale linguistica