Il prossimoProssima guida
How Leading Questions Bias AI Answers
Intelligenza artificiale linguistica
GUIDA ALL'AI linguistica
Il logit bias è una manopola che spinge un modello linguistico verso o lontano da token specifici aggiungendo un numero fisso ai loro punteggi prima che il modello scelga la parola successiva.
Ascolta questa guidaNarrato dall'IA · ~2 min
It is a lightweight way to ban words, force choices, or shape style without retraining anything.
Prima che un modello scelga il suo segnalino successivo, produce un logit (un punteggio non normalizzato) per ogni segnalino nel suo vocabolario. Il bias logit ti consente di aggiungere un valore costante ai logit dei token scelti in base ai relativi ID token numerici. Un ampio bias positivo rende molto più probabile che un token venga campionato; un ampio bias negativo (spesso -100 nelle API) lo vieta di fatto. Poiché l’aggiustamento avviene prima del softmax che trasforma i punteggi in probabilità, anche i bias più modesti spostano significativamente la distribuzione. Fondamentalmente, il pregiudizio è legato agli ID dei token, non alle parole intere, quindi una parola multi-token potrebbe aver bisogno di ciascuno dei suoi pezzi distorti per sopprimerla o promuoverla completamente. È un controllo rapido e chirurgico che non richiede regolazioni precise e si applica su richiesta.
Impostazione di un bias di -100 sui token volgarità per impedire a un chatbot di produrre determinate parole.
Forzare un classificatore sì/no dando una forte distorsione positiva ai token "Sì" e "No" e sopprimendo tutto il resto.
Scoraggiare una frase abusata o una parola di riempimento applicando un moderato pregiudizio negativo ai suoi token.
Potenziare i termini specifici del dominio (come il nome di un prodotto) in modo che un riepilogo li menzioni in modo affidabile.
Il bias logit rimane un punto fermo per una guida rapida, ma stanno crescendo alternative più ricche: decodifica strutturata/vincolata per garanzie reali e guida dell'attivazione o ingegneria della rappresentazione che sposta i vettori interni di un modello piuttosto che semplicemente i punteggi di output. Aspettatevi che le API mantengano il logit bias come una semplice via di fuga offrendo allo stesso tempo controlli di livello superiore (frasi vietate, direttive di stile, filtri di sicurezza) che gestiscono automaticamente la tokenizzazione in modo che gli sviluppatori non debbano ragionare sugli ID dei token grezzi.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
Il logit bias è una manopola che spinge un modello linguistico verso o lontano da token specifici aggiungendo un numero fisso ai loro punteggi prima che il modello scelga la parola successiva. È un modo leggero per vietare le parole, forzare scelte o modellare lo stile senza riqualificare nulla.
Il bias logit aggiunge una costante ai logit degli ID token scelti, modificando la probabilità che vengano selezionati, senza modificare il modello stesso.
Un ampio bias negativo come -100 porta la probabilità post-softmax del token essenzialmente a zero, quindi non viene praticamente mai prodotto.
The API reference documents a range of -100 to 100 for each token ID, where negative values decrease likelihood and positive values increase it.
I valori di bias vengono applicati a ID token specifici dal vocabolario del tokenizzatore, motivo per cui è necessario conoscere gli ID per le parti di una parola.
Softmax espone i logit, quindi anche un modesto bias positivo moltiplica sostanzialmente il peso non normalizzato di un token, aumentandone drasticamente le probabilità.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
How Leading Questions Bias AI Answers
Intelligenza artificiale linguistica