Il prossimoProssima guida
Ricerca del raggio
Intelligenza artificiale linguistica
GUIDA ALL'AI linguistica
La ricerca vincolata forza l'output di un modello linguistico a soddisfare requisiti rigorosi, come l'inclusione di parole specifiche o la corrispondenza con una grammatica, pur continuando a cercare il testo più probabile.
Ascolta questa guidaNarrato dall'IA · ~2 min
It guarantees structure that plain sampling cannot promise.
La ricerca ordinaria dei raggi mantiene le top-k sequenze parziali più probabili ("travi") ad ogni passo e le estende, scegliendo quella migliore completa. La ricerca guidata o vincolata dei raggi aggiunge regole a cui l'output finale deve obbedire, ad esempio "devono apparire le parole ponte e fiume" o "l'output deve essere un JSON valido". La decodifica lessicalmente vincolata (Hokamp e Liu, 2017) e Grid Beam Search organizzano i raggi in base al numero di vincoli soddisfatti, garantendo che alla fine appaia ogni token richiesto. L'allocazione dinamica dei raggi di Post e Vilar ha reso tutto questo efficiente posizionando gli slot dei raggi attraverso i livelli di avanzamento dei vincoli. I sistemi moderni utilizzano anche la decodifica vincolata alla grammatica: ad ogni passaggio una macchina a stati finiti o una grammatica libera dal contesto maschera la distribuzione dei token in modo che siano consentiti solo i token che mantengono valido l'output. Questo è il modo in cui gli strumenti emettono in modo affidabile chiamate JSON, SQL o API analizzabili.
Forzare l'output della traduzione automatica a contenere un termine terminologico richiesto
La garanzia di un LLM emette JSON che convalida rispetto a un determinato schema per le chiamate API
Vincolo dell'SQL generato alla tabella e alla grammatica delle colonne di un database
Inserimento di parole chiave obbligatorie nel testo dell'annuncio o nelle descrizioni dei prodotti
La decodifica vincolata sta diventando la spina dorsale di un utilizzo affidabile degli strumenti e di un output strutturato. Le librerie che compilano schemi JSON o espressioni regolari in maschere di token veloci (come Outlines e l'approccio di guida) si stanno fondendo nei server di inferenza tradizionali. Aspettatevi vincoli grammaticali combinati con una decodifica speculativa per la velocità e una guida "morbida" appresa che indirizzi verso obiettivi di stile o di sicurezza senza la fragilità di regole rigide.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
La ricerca vincolata forza l'output di un modello linguistico a soddisfare requisiti rigorosi, come l'inclusione di parole specifiche o la corrispondenza con una grammatica, pur continuando a cercare il testo più probabile. Garantisce una struttura che il semplice campionamento non può garantire.
La ricerca dei raggi mantiene le k sequenze parziali (raggi) con il punteggio più alto e le estende, bilanciando l'ampiezza e i costi della ricerca.
Le travi sono raggruppate in base al loro stato di soddisfazione dei vincoli in modo che gli output parziali che hanno inserito le parole richieste possano competere equamente.
Una macchina o una grammatica a stati finiti produce una maschera per passo che azzera qualsiasi token che renderebbe la sequenza non valida.
Il metodo di Post e Vilar alloca la capacità del raggio tra gli stati di avanzamento dei vincoli, rendendo la ricerca lessicalmente vincolata molto più efficiente.
A correctly enforced grammar can constrain completed outputs, but truncation or mismatched constraints can leave an incomplete or unsuitable result.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Ricerca del raggio
Intelligenza artificiale linguistica