Il prossimoProssima guida
Codificatori automatici sparsi per l'estrazione delle funzionalità
Intelligenza artificiale linguistica
GUIDA TECNICA
Gli autocodificatori sparsi (SAE) sono uno strumento che separa le intricate attivazioni interne di una rete neurale in un insieme molto più ampio di caratteristiche più pulite e interpretabili dall'uomo.
Ascolta questa guidaNarrato dall'IA · ~2 min
Sono una delle tecniche principali per aprire la "scatola nera" e vedere quali concetti rappresenta effettivamente un modello.
All'interno di un trasformatore, un singolo vettore di attivazione mescola insieme migliaia di concetti contemporaneamente, rendendolo difficile da leggere. Un autocodificatore sparso è una piccola rete a due strati addestrata a ricostruire quelle attivazioni attraverso un ampio strato nascosto, ma con una penalità di scarsità che costringe solo alcuni dei suoi numerosi neuroni ad attivarsi alla volta. A causa di questa pressione, ogni unità nascosta tende a specializzarsi in un concetto, come "menzioni al Golden Gate Bridge" o "codice Python". Nel 2024 Anthropic lo ha ridimensionato a Claude 3 Sonnet, estraendo circa 34 milioni di funzionalità, e OpenAI e DeepMind hanno pubblicato un lavoro SAE parallelo. I ricercatori possono quindi limitare una caratteristica verso l’alto o verso il basso per testare causalmente ciò che fa.
Demo "Golden Gate Claude" di Anthropic, in cui l'amplificazione di una singola funzionalità SAE faceva sì che il modello facesse ossessivamente riferimento al ponte in ogni risposta
Estrazione ed etichettatura di circa 34 milioni di funzionalità da Claude 3 Sonnet per mappare concetti come servilismo, errori di codice e comportamenti non sicuri
Individuazione di caratteristiche rilevanti per la sicurezza come inganni, pregiudizi o contenuti pericolosi che possono essere monitorati o gestiti durante la distribuzione
Debug del motivo per cui un modello classifica erroneamente gli input controllando quali funzionalità interpretabili sono attivate su un determinato prompt
Aspettatevi che i SAE passino dalla curiosità della ricerca verso strumenti pratici di controllo e sicurezza, comprese dashboard che etichettano le funzionalità e rilevano circuiti ingannevoli o non sicuri. I problemi aperti includono la "suddivisione delle funzionalità" (un concetto che si frattura in molti), le funzionalità mancanti e il costo della formazione dei SAE su ogni livello dei modelli di frontiera. Le direzioni più recenti come crosscoder, transcoder e SAE matrioska mirano a catturare il calcolo su più livelli e con più granularità contemporaneamente.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
Gli autocodificatori sparsi (SAE) sono uno strumento che separa le intricate attivazioni interne di una rete neurale in un insieme molto più ampio di caratteristiche più pulite e interpretabili dall'uomo. Sono una delle tecniche principali per aprire la "scatola nera" e vedere quali concetti rappresenta effettivamente un modello.
I SAE ricostruiscono le attivazioni attraverso uno strato nascosto ampio e rado in modo che le singole unità tendano a corrispondere a singoli concetti comprensibili dall'uomo.
Sparsity encourages feature-selective activity but does not guarantee perfect one-neuron-per-concept representations.
Il lavoro "Scaling Monosemanticity" di Anthropic del 2024 ha estratto circa 34 milioni di funzionalità da un modello di produzione.
Amplificando la caratteristica del Golden Gate Bridge, i ricercatori hanno fissato il modello sul ponte, dimostrando che le caratteristiche sono leve causali, non solo etichette.
I modelli racchiudono molti concetti in dimensioni limitate (sovrapposizione); un SAE ampio e completo offre a ciascun concetto lo spazio per occupare la propria unità.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Codificatori automatici sparsi per l'estrazione delle funzionalità
Intelligenza artificiale linguistica