Il prossimoProssima guida
Logit Lens e decodifica dello strato intermedio
Intelligenza artificiale linguistica
GUIDA TECNICA
La lente logit e la lente sintonizzata sono tecniche di interpretabilità che sbirciano gli stati nascosti di un trasformatore strato dopo strato per vedere cosa "pensa" il modello prima di produrre una risposta finale.
Ascolta questa guidaNarrato dall'IA · ~2 min
Rivelano come si forma gradualmente una previsione man mano che le informazioni fluiscono attraverso la rete.
Un trasformatore costruisce la sua risposta in modo incrementale: ogni strato si aggiunge a un "flusso residuo" che viene trasformato in probabilità di parole solo alla fine. La lente logit, introdotta da nostalgebraist nel 2020, abbrevia questo processo applicando il disembedding finale del modello (e la norma dei livelli) direttamente agli strati intermedi, in modo da poter leggere la migliore ipotesi della rete a ogni profondità. Ciò spesso mostra che la risposta si cristallizza negli strati medio-tardivi. La lente sintonizzata (Belrose e colleghi, 2023) migliora addestrando una piccola sonda affine per strato a tradurre gli stati nascosti nella base finale, risolvendo il bias e l'imprecisione di cui soffre la lente logit grezza, specialmente nei primi strati e in diverse famiglie di modelli.
Utilizzando la lente logit per osservare una risposta fattuale, come una capitale, emergere negli strati intermedi di un modello
Applicazione della lente ottimizzata per confrontare il modo in cui diverse famiglie di modelli convergono su una previsione in profondità
Rilevare che un modello ha "deciso" internamente una risposta diversi livelli prima dell'output
Diagnosticare i livelli in cui le previsioni dei token dannose o distorte diventano inizialmente dominanti nel flusso residuo
Le tecniche di lente stanno diventando standard per tracciare il modo in cui fatti, rifiuti o pregiudizi emergono in profondità e per individuare quando un modello "conosce" una risposta in anticipo. Ci si aspetta che, combinati con autocodificatori sparsi e patch causali, passino dalla descrizione delle previsioni alla spiegazione dei meccanismi. La ricerca sta anche indagando se le letture intermedie rivelano conoscenze latenti o inganni che un modello nasconde nel suo risultato finale, rendendo le lenti un candidato elemento costitutivo per controlli di sicurezza e monitoraggio di allarme precoce.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
La lente logit e la lente sintonizzata sono tecniche di interpretabilità che sbirciano gli stati nascosti di un trasformatore strato dopo strato per vedere cosa "pensa" il modello prima di produrre una risposta finale. Rivelano come si forma gradualmente una previsione man mano che le informazioni fluiscono attraverso la rete.
La lente logit proietta gli stati intermedi del flusso residuo attraverso il disincorporamento esistente per vedere i token previsti del modello a ciascuna profondità.
La lente sintonizzata apprende un traduttore lineare per strato, correggendo i bias e fornendo letture più fedeli e con minore perplessità rispetto alla lente logit grezza.
Ciascun livello scrive aggiornamenti additivi su un flusso residuo condiviso, quindi la proiezione anticipata di quel flusso si avvicina a una previsione intermedia.
L'obiettivo logit è stato introdotto da nostalgebraist in un post sul blog del 2020 che analizzava le previsioni intermedie di GPT-2.
Le letture in genere mostrano la probabilità corretta di guadagno del token attraverso i livelli medio-tardivi man mano che il calcolo si accumula.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Logit Lens e decodifica dello strato intermedio
Intelligenza artificiale linguistica