Quiz collegato alla guida · Difficile Livello
Codificatori automatici sparsi per il quiz sull'interpretabilità
Controlla la ricostruzione e la scarsità del codificatore automatico sparso, le caratteristiche di attivazione, l'espansione della larghezza, la suddivisione delle caratteristiche e gli esperimenti di guida causale.
Domanda 1 di 8
Qual è lo scopo principale dell'addestramento di un autocodificatore sparso sulle attivazioni di un modello?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- Qual è lo scopo principale dell'addestramento di un autocodificatore sparso sulle attivazioni di un modello?
- Scomporre le attivazioni aggrovigliate in caratteristiche interpretabili, per lo più isolate
- Per comprimere il modello in modo che venga eseguito più velocemente
- Per tradurre il testo tra le lingue
- Per aumentare la precisione del modello sui benchmark
- How does an SAE’s sparsity penalty affect hidden-unit activations?
- It guarantees each unit represents exactly one concept
- It encourages only a small subset of the wider hidden layer to activate for an input
- It makes every hidden unit activate equally
- It removes the reconstruction objective
- All'incirca quante funzionalità ha estratto Anthropic durante il ridimensionamento dei SAE a Claude 3 Sonnet nel 2024?
- Circa 500
- Circa 2.000
- Circa 34 milioni
- Circa 100 miliardi
- Cosa ha mostrato la dimostrazione del "Golden Gate Claude"?
- Che i SAE possono essere addestrati solo su immagini
- Che il modello non poteva più produrre testo
- Queste funzionalità non hanno alcun effetto sugli output
- Il fatto che fissare una singola caratteristica in alto guida causalmente il comportamento del modello
- Perché uno strato nascosto in un SAE è tipicamente molto PIÙ AMPIO dell'attivazione che ricostruisce?
- Poiché i concetti sono sovrapposti in meno dimensioni di quelle di cui hanno realmente bisogno, più unità aiutano a districarli
- Per rendere la formazione più economica
- Perché gli strati più ampi sono sempre più accurati
- Per ridurre il numero di parametri
- Qual è una limitazione nota degli attuali codificatori automatici sparsi?
- Non possono essere allenati con la discesa in pendenza
- Suddivisione delle funzionalità, in cui un concetto si frattura in molte funzionalità separate
- Funzionano solo su reti convoluzionali
- Eliminano la necessità di qualsiasi etichettatura umana
- Which two objectives are commonly combined when training a sparse autoencoder?
- A policy gradient and value loss
- A next-token loss and a contrastive loss
- Reconstruction error and a penalty on hidden activations
- A calibration error and classification accuracy
- What does a TopK sparse autoencoder do to encourage sparsity?
- Keeps the K largest input pixels and discards the decoder
- Sets all encoder weights to zero
- Trains K different tokenizers
- Keeps only the K largest hidden activations for an input